瀏覽
磚
幫助
登錄
開始使用磚
開始討論
開始資源
磚平台Beplay体育安卓版本
技術博客
磚平台的討論Beplay体育安卓版本
工程數據
機器學習
倉庫&分析
數據治理
管理和架構
學習
學習討論
培訓產品
認證
學習路徑
認證
組
地區和利益集團
美洲
亞太地區
利益集團
事件
社區灣
社區討論
社區新聞&成員認可
黃鸝
新的貢獻者三世
自
03-19-2023
06-26-2023
用戶數據
3
的帖子
1
解決方案
0
榮譽給
2
榮譽收到
磚
對金鶯
用戶活動
的帖子
回複
火花司機崩潰大型文本寫作
03-19-2023
我使用一個大型文本變量,工作成單行JSON,火花可以美麗的過程。使用單個節點256 GB 32核心Standard_E32d_v4“集群”,這應該足夠內存數據集(沒見過集群內存u…
再保險:火花司機崩潰大型文本寫作
03-21-2023
single_line_text_df.write @Vigneshraja Palaniraj我不相信。json是有效的。我試過了所有的str > > single_line_df > >文件組合。如果沒有dbutils。fs限製(不清楚為什麼低性能相對於python fileobject ....
再保險:火花司機崩潰大型文本寫作
03-21-2023
單線程dbutils也是如此。fs顯著不同於標準的Python f = open('路徑/ newfile.txt ', ' w ') f.write (str_variable) f.close()這其實很好工作,花了15秒,邊際內存使用量的增加。文本文件是8.3 gb。
榮譽從
用戶
數
Kaniz
2
查看所有
map