三角洲住表宣布新功能和性能優化

DLT宣布正在開發酶,ETL工作負載的性能優化專用,並啟動一些新的功能,包括增強的自動定量

通過Lappas保羅和邁克爾時常要

2022年6月29日在產品

分享這篇文章

因為δ生活表的可用性(DLT)在所有雲(4月公告),我們引入新特性使開發變得更容易,增強自動化基礎設施管理,宣布了一項新的優化層稱為項目酶加速ETL處理,並使一些企業功能和用戶體驗的改進。

DLT使分析師和數據工程師快速創建生產就緒的流或批ETL管道在SQL和Python。DLT簡化了ETL開發通過允許您以聲明的方式定義數據處理管道。DLT理解管道的依賴和自動化幾乎所有操作的複雜性。

三角洲生活表已發展到電力生產ETL用例在世界各地的大公司自成立以來。DLT使用超過1000公司從創業企業,包括ADP、殼牌、H&R Block特大,麵包金融和仲量聯行。

與DLT,工程師可以專注於交付數據而不是操作和維護管道和利用關鍵特性。我們啟用了企業功能和用戶體驗的改進,包括支持變化數據捕獲(CDC)高效、輕鬆地捕捉連續到達的數據,並推出了一個預覽增強自動伸縮功能為流媒體提供性能優越的工作負載。讓我們來看看詳細的改進:

讓開發變得更容易

我們擴展我們的UI,讓它更容易管理ETL的端到端的生命周期。

用戶體驗改進。我們擴展UI DLT管道更容易管理,查看錯誤,提供團隊成員具有豐富的管道acl。我們還添加了一個可觀測性的UI數據質量標準在一個視圖中,並使它更容易安排管道直接從UI。了解更多。

安排管道按鈕。DLT允許您運行ETL管道連續或觸發模式。連續管道過程新數據到達,是有用的場景數據延遲是至關重要的。然而,許多客戶選擇運行DLTbeplay体育app下载地址管道在觸發模式下控製管道執行和成本更密切。使它容易引發DLT管道與磚重複安排工作,我們已經添加了一個“時間表”按鈕的DLT UI來支持用戶設置一個隻需幾次點擊重複調度不離開DLT UI。您還可以看到曆史的運行和快速導航到你的工作細節配置郵件通知。了解更多。

變化數據捕獲(CDC)。DLT,疾控中心數據工程師可以很容易地實現一個新的聲明申請更改到API,在SQL或Python。這個新功能允許ETL管道容易檢測源數據更改,並將它們應用到整個lakehouse數據集。DLT過程數據變化逐步進入三角洲湖,萎靡不振的記錄插入、更新或刪除在處理疾病預防控製中心事件。了解更多。

疾控中心慢慢改變Dimensions-Type 2。當處理更改(CDC)的數據,你經常需要更新記錄跟蹤最新的數據。SCD 2型是一種將更新應用到一個目標,這樣保留了原始數據。例如,如果一個用戶數據庫中的實體移動到一個不同的地址,我們可以存儲用戶的所有以前的地址。DLT支持SCD 2型的組織,需要維護一個審計跟蹤的變化。SCD2保留一個完整的曆史價值。當一個屬性的值發生變化時,關閉當前記錄,創建一個新記錄數據值的改變,這新紀錄成為當前記錄。了解更多。

自動化基礎設施管理

增強自動定量(預覽)。手動分級集群對最優性能改變,不可預測的數據與流卷作為工作負載——可能是一個挑戰,導致獲得。當前集群自動定量不知道流SLOs,可能不會迅速擴大經營規模,即使處理落後數據到達率,或者它可能不會減少負載時低。DLT雇傭了一個增強的伸縮算法專用流。dlt增強自動定量優化集群利用率同時確保整體的端到端延遲最小化。它通過檢測流工作負載的波動,包括數據等待攝取,配置所需的資源(用戶指定的限製)。此外,增強自動定量時將優雅地關閉集群利用率很低,同時保證所有任務的疏散,以避免影響管道。因此,工作負載使用增強的自動定量節省使用成本,因為更少的基礎設施資源。了解更多。

自動升級和發布渠道。三角洲生活表(DLT)集群使用一個DLT運行時根據磚運行時(DBR)。磚自動升級的DLT運行時每1 - 2個月。DLT將自動升級DLT運行時無需用戶幹預和監測管道健康後升級。如果DLT檢測到DLT管道不能啟動由於DLT運行時升級,我們將恢複管道條件,而不是以前的版本。你可以得到早期警告打破更改init腳本或其他DBR行為利用DLT通道測試的預覽版本DLT運行時和自動通知如果有回歸。生產工作負載的磚建議使用當前的渠道。了解更多。