由不同的租戶三角洲表分開的黃金地帶

[alexgv12]

你好,目前我們有一個過程,構建與三角洲表銅的區域,銀,當它到達金我們必須為每個客戶端創建特定區域由於模式變化,為此我們創建數據庫和單獨的表,但是當我們做這個過程需要很長時間,多次溝通是迷失在筆記本和執行失敗,什麼好的做法,或者選擇我們來改善流動性能和指標也可以用來定義特征和工人的數量規模。目前我們正在處理800必須生成的表和每一個租戶將執行24000筆記本電腦。

[Noopur_Nigam]

嗨@alexander grajales vanegas你創建的所有數據庫和表黃金帶手動嗎?如果是這樣,請查看DLThttps://docs.m.eheci.com/data-engineering/delta-live-tables/index.html,它會照顧你的完整的管道本身。

[alexgv12]

嗨@Noopur尼噶的,目前是一個自動的過程,我們使用金賈的構建實現pyspark和不同的區域,但它是非常有趣的,你告訴我,我將審查文檔,看看我們可以使用或考慮它對於未來的項目,非常感謝。