合理的流程”確定的位置DBIO文件碎片。”帶我7小時?

[小禮帽]

我隻有1000列。每一列有252行,所以隻有252000數據點。

為什麼它可以路由任務best-cached局部性的7個小時嗎?

[Kaniz]

嗨@Cheuk欣克利斯朵夫Poon請再次運行這個命令並檢查嗎?

% sql優化(表名)

[小禮帽]

我試著下麵的一個和它仍然花了超過10個小時,直到致命錯誤:Python的內核是反應遲鈍。

% sql——啟用自動優化設置spark.databricks.delta.properties.defaults.autoOptimize.optimizeWrite = true;設置spark.databricks.delta.properties.defaults.autoOptimize.autoCompact = true;

[小禮帽]

@Kaniz Fatma有沒有辦法縮短這個過程“確定DBIO文件碎片的位置。”運行時?

[Vidula_Khanna]

嗨@Cheuk欣克利斯朵夫Poon

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳嗎?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!