合理的流程”確定的位置DBIO文件碎片。”帶我7小時?

[小禮帽]

我隻有1000列。每一列有252行,所以隻有252000數據點。

為什麼它可以路由任務best-cached局部性的7個小時嗎?

[Noopur_Nigam]

嗨@Cheuk欣克利斯朵夫Poon以來你優化你的表創建?如果不是,那麼優化可能需要一些時間,這取決於底層文件的沒有。

請嚐試手動運行優化如下描述的文檔:

https://docs.m.eheci.com/sql/language-manual/delta-optimize.html

如果沒有幫助,你可以嚐試禁用DBIO緩存通過設置在你的筆記本下麵:

spark.conf.set (“spark.databricks.io.cache。啟用”、“假”)