03-10-202312:26我
後我的工作做的磚層中的所有處理最終的輸出雪花表使用df寫道。使用火花雪花編寫API和連接器。我經常看到,即使一個小的數據集(16個分區,每個分區中20 k行)大概需要2分鍾來寫。有什麼方法,寫可以優化嗎?
04-03-202304:32我
有一些選項,我嚐試了,給了我一個更好的性能。
在原帖子查看解決方案
03-10-2023上午02:52
火花連接器已經優化的。你可以嚐試改變你的分區數據集?批量加載大文件更好。
03-10-2023上午04:12
是的。帶下來4個分區,同時做轉換,然後嚐試。平均來說,需要寫2分鍾。我不確定這是jdbc連接的預期行為。
03-10-202304:16我
在我看來緩慢。
你確定你不做任何火花處理?
因為如果是這樣:一個chunck 2分鍾是火花轉換數據。
04-03-202304:21我
嗨@Vigneshraja Palaniraj
希望一切都好!
隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。
我們很想聽到你的聲音。
謝謝!
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。
