問題提交如何優化工作,以避免支付額外成本擴大磁盤嗎?這是由於洗牌或數據傾斜?有辦法和更大的磁盤配置工人嗎?如果沒有擴大磁盤,它將失敗,因為磁盤上沒有剩餘空間。

[匿名]

你的工人磁盤大小應該幾乎從來沒有問題。你應該使用S3等雲存儲/ ADL2 / gc。你運行什麼操作錯誤消息你什麼?

[韋恩]

沒有錯誤,隻是看到了擴大磁盤集群事件日誌。這隻是一個常規的火花的應用程序。我不確定如果雲存儲問題——火花應用程序使用它作為輸入和輸出。