宣布推出三角洲生活表:工程做了簡單可靠的數據
的數據量,數據來源和數據類型在組織成長,建立和維護可靠的數據管道已成為一個關鍵驅動因素分析,數據科學和機器學習(ML)。優先考慮這些措施將增加數據工程團隊,因為處理原始壓力,混亂的數據放入幹淨、新鮮的、可靠的數據是一個關鍵的步驟之前,這些戰略舉措可以追求。
在數據+人工智能峰會我們宣布,三角洲生活表(DLT),新功能在三角洲湖磚客戶提供一流的體驗,簡化了ETL開發和管理。beplay体育app下载地址DLT大大簡化了數據與聲明性管道工程師開發的工作,提高數據的可靠性和雲級別的生產業務。
我們開發這個產品在我們的客戶,他們分享他們的挑戰,構建和維護可靠的數據管道。beplay体育app下载地址讓我們看一看為什麼ETL和構建數據管道。
數據團隊不斷要求定期提供關鍵數據進行分析。要做到這一點,團隊預計很快將原始,淩亂的輸入文件到探索性數據分析儀表盤是準確的,最新的。雖然編寫SQL查詢的初始步驟加載數據並將其轉換相當簡單,挑戰在於當這些分析項目需要持續最新數據,和最初的SQL查詢需要變成生產級ETL管道。這種新鮮的數據依賴關係的數量依賴於從其他來源和更新這些來源的工作。解決,許多數據工程團隊表分解成分區和建立一個引擎,可以理解依賴和更新單個分區以正確的順序。
一旦建立,檢查站和重試必須確保你可以迅速從不可避免的瞬態恢複失敗。最重要的是,團隊需要建立質量檢查,確保數據質量,監視功能為錯誤警報和治理能力來跟蹤數據通過係統的傳輸方式。一旦完成這一切,當一個新的請求時,這些團隊需要一種方法來重做整個過程與一些變化或新功能添加在上麵。
與所有這些團隊的時間花在工具而不是轉變,開始接管操作複雜性,和數據工程師能夠花越來越少的時間獲得值的數據。
三角洲生活表
DLT使工程師精簡和民主化ETL、數據簡化ETL的生命周期,使團隊構建和利用自己的數據管道通過構建生產ETL管道隻編寫SQL查詢。可以通過添加“活”你的SQL查詢,DLT將開始自動照顧你所有的操作,管理和質量的挑戰。有能力把Python和SQL,用戶可以獲得強大的擴展SQL實現先進的轉換和嵌入人工智能模型作為管道的一部分。
理解你的數據依賴關係
DLT需要你寫的查詢轉換你的數據,而不是隻是對數據庫執行,DLT深深了解這些查詢和分析他們理解它們之間的數據流。一旦了解數據流,可以使用血統信息捕獲和保持數據的新鮮和管道操作順利。
也就是說因為DLT理解數據流和血統,因為這個血統是表達了一種獨立於環境的方式,不同的副本數據(即開發、生產、分期)是孤立的,可以使用單一代碼庫更新。相同的查詢集的定義可以運行在任何數據集。
跟蹤數據沿襲的能力是非常有利於提高變更管理和減少開發錯誤,但最重要的是,它提供了用戶可見性使用的來源分析,增加信任和信心的見解來源於數據。
獲得深可見性管道
DLT深可見性管道操作提供了詳細的日誌記錄和工具來可視化跟蹤操作統計和質量指標。使用此功能,數據團隊可以理解每個表的性能和狀態的管道。數據工程師可以看到管道運行成功或失敗,和可以減少停機時間自動刷新錯誤處理和簡單。
對待你的數據代碼
核心理念之一,我們認為在建設這個新產品,已成為流行在許多數據工程項目今天,是治療數據代碼。您的數據應該是一個單一的事實來源發生了什麼在你的業務。不僅僅是轉換,有許多事情應該包含在代碼中定義您的數據。
- 質量的期望:與聲明性的質量預期,DLT允許用戶指定壞數據壞和壞數據應該如何解決可調的嚴重性。
- 文檔與轉換:DLT允許用戶文檔的數據從哪裏來,它是用於什麼,它是如何改變。這個文檔存儲與轉換,保證這些信息總是新鮮的,最新的。
- 表屬性:一個表的屬性(例如,包含PII)以及質量和運營信息表執行自動捕獲的事件日誌。此信息可以用於理解數據流經一個組織,滿足監管要求。
聲明式管道發展,提高數據的可靠性和雲級別的生產操作,DLT使ETL生命周期更容易,使團隊構建和利用自己的數據管道得到更快的見解,最終減少工程師的負載數據。
“在殼牌公司,我們將我們所有的傳感器數據合並為一個綜合數據存儲——在multi-trillion-record規模。三角洲生活表已經幫助我們的團隊節省時間和精力在這種規模的數據管理。我們一直專注於不斷改善我們的人工智能工程能力和有一個集成開發環境(IDE)圖形界麵支持我們提取轉換加載(ETL)工作。使用此功能擴充現有lakehouse建築,磚是ETL和數據倉庫市場擾亂,這對像我們這樣的公司是很重要的。我們興奮地繼續與磚作為一個創新的夥伴。”
開始
三角洲表目前生活在封閉的公共預覽和提供給客戶。beplay体育app下载地址現有客戶可以請求訪beplay体育app下载地址問DLT開始開發DLT管道在這裏。參觀演示中心看到一個DLT和演示DLT文檔要學習更多的知識。
由於這是一個封閉的預覽,我們將在客戶在個案基礎上保證平穩預覽的過程。beplay体育app下载地址我們為預覽名額有限,希望包括盡可能多的客戶。beplay体育app下载地址如果我們不能載你在封閉的預覽,我們將接觸和更新你當我們準備推出廣泛。
