我怎麼能導出SQL查詢的結果從一個磚筆記本嗎?

[gianni77]

“下載CSV”按鈕在筆記本上似乎隻有工作結果< = 1000條目。我怎麼大的結果集導出為CSV ?

[pepevo]

是的,請提供更多的細節嗎?鏈接不工作(404年的HTTP錯誤:“謝謝你

[匿名]

filestore你會寫:

df.write。選項(“頭”,“真正的”). csv (“dbfs: / FileStore / download.csv”),然後下載

https://community.cloud.m.eheci.com/files/download.csv

然而,磚現在擁有的功能,點擊“下載”時顯示一個結果集,其他的答案也提到以下。它會下載第一個100萬行。

[pepevo]

我已經問過這個問題,因為鏈接壞了。

我怎麼sql查詢導出到csv和發送電子郵件。另外,我怎麼能在csv選擇十億條記錄。Databrick允許出口隻有max一百萬記錄,但我們有15億

[ColbyCarrillo]

你好,

我通常使用pyspark此類行動。一些示例代碼的如何寫DBFS pyspark數據幀: data_frame.coalesce (1) .write.format .save (“com.databricks.spark.csv”) (“/ FileStore /表/ your_file_name.csv”)

如果你好奇如何從直接轉移pyspark SQL,你可以試著創建一個臨時表在SQL,然後閱讀它變成pyspark數據幀,然後把它寫出來。下麵的代碼是給你有進口相應的庫。

% python

data_frame = spark.table (“your_temp_table”)

請注意我通常沒有這種規模的出口數據。你可能需要研究更多的合並功能,可能需要結合多個csv文件。

[ColbyCarrillo]

重讀你的問題後,這個很簡單,當下載的csv筆記本將會有一個向下的箭頭指示符號的右邊。所有你需要做的就是點擊下拉,點擊下載完整的結果(1000000 max)