取消
顯示的結果
而不是尋找
你的意思是:

做優化的實時δ表

sriram_kumar
新的貢獻者二世

嗨,團隊,

我們有一些刺激s3 bucket中創建的表,現在已經很大,這些表得到實時數據連續晝夜不停地從磚工作流;我們想運行優化命令(優化zorderby),沒有停止/暫停工作,請建議如果有一種方法可以做到這一點?

提前謝謝! !

4回複4

Sandeep
貢獻者三世

@Sriram Kumar他們隻是插入?然後你可以在不影響優化:https://docs.m.eheci.com/optimizations/isolation-level.html write-conflicts-on-databricks

Vartika
主持人
主持人

嗨@Sriram Kumar,

希望一切都好!

隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

匿名
不適用

@Sriram Kumar:

運行優化命令優化和ZORDER靠大型表S3存儲桶中沒有停止或暫停的磚工作流的不斷更新的表,您可以按照以下步驟:

  1. 創建表的一個副本:既然你不能直接執行優化命令積極更新一個表,您可以創建一個複製表的一個不同的名稱。這將允許您優化複製原始表繼續接收實時數據。
  2. 建立一個過程保持同步的副本:你需要建立一個過程來保持與原始表同步複製表。這可以通過使用技術增量數據更新或定期同步工作,根據您的特定需求和數據更新模式。
  3. 優化複製表:一旦你有了一個同步表的副本,您可以運行優化命令(優化和ZORDER)而不影響連續數據複製表原始表更新。
  4. 交換表:優化複製表之後,可以執行表交換操作切換優化的原始表副本。可以通過重命名表或更新表指針,這取決於您的特定設置。

希望這可以幫助!

Vidula_Khanna
主持人
主持人

嗨@Sriram庫馬爾

我們沒有收到你自從上次反應@Suteja卡努裏人。請與我們分享的信息,作為回報,我們將為您提供必要的解決方案。

感謝和問候

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map