緩慢更新/插入三角洲表

[SS0201]

當使用增量表與DLT DBR工作甚至管道,插入的(尤其是更新)(在關鍵和時間戳)正在相當高於預期時間更新文件/表格數據(甚至1 ~ 2分鍾記錄調查)閃電快(插入)。後端鑲花正在更新文件,甚至1記錄包含其他記錄。

我們嚐試:

分區在關鍵證明是verry壞主意,甚至插入太慢了。

ZORDER重點也沒有什麼幫助。

請幫助我們改善實時更新三角洲表與卡夫卡的話題來源和火花流保持計算作為最後的選擇

[Debayan]

你好,大小的文件/表格是多大?

[SS0201]

隻有1目標表(dev大約45 mn記錄),δ表。後端鑲花文件(沛富)是由內部DBR分散算法。

在PKey ZORDER之後,被安排在幾乎同樣大小的文件,但仍有緩慢的插入。

做ZORDER後結果:

這是開發的結果。刺激數據大小超過10倍

[jose_gonzalez]

你用的哪個DBR版本?低洗牌合並可能會幫助文檔https://docs.m.eheci.com/optimizations/low-shuffle-merge.html

[Vidula_Khanna]

嗨@Surya阿加瓦爾

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!