06-28-202303:32點
嗨,你能做zordering作為結構的一部分流攝入?
06-28-202304:07點
可以通過閱讀zorder結構化流數據到三角洲的表和zorder所需的部分寫差值表。所以你本質上利用foreach批寫出結構化流到三角洲表在小微批次和每一批後然後zorder數據。
06-28-202304:25點
你也可以打開汽車優化寫道你表或會話。這是特別好的如果你的表分區。你也應該打開汽車壓實控製文件的大小。
汽車壓實可以啟用表或會話級別使用以下設置:
表屬性:delta.autoOptimize.autoCompact
SparkSession設置:spark.databricks.delta.autoCompact.enabled
06-28-202304:26點
這是設置自動優化
優化寫在表或會話級別可以啟用使用以下設置:
表設置:delta.autoOptimize.optimizeWrite
SparkSession設置:spark.databricks.delta.optimizeWrite.enabled
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。