取消
顯示的結果
而不是尋找
你的意思是:

在試圖拯救火花dataframe三角洲表正在太長了

尼爾。
新的因素

工作時在視頻分析任務我需要保存圖像字節三角洲表提取到早些時候引發dataframe。當我想要寫一個同樣的δ表/段完成任務並輸入數據的大小不同。它占用太多的時間即使做幾個試驗件。我不能使用流三角洲表我隻想存儲圖像字節三角洲表中提取並簡單地完成推理任務對象檢測和其他轉換。我甚至想把冗長的數據列,但沒有產生任何影響。1驅動程序

16 GB的內存,4核11.3.x-gpu-ml-scala2.12 g4dn。超大是我當前集群的配置。

11.3.x-gpu-ml-scala2.12

1回複1

werners1
尊敬的貢獻者三世

你能檢查火花UI,看到時間花費在哪裏?

它可以是一個加入,udf,…

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map