宣布通用的可用性數據磚的三角洲生活表(DLT)

今天,我們很高興宣布三角洲生活表(DLT)一般可用(GA)在Amazon AWS和微軟Azure雲,並公開在穀歌雲!在這篇文章中,我們探討DLT幫助數據工程師和分析師領先企業輕鬆構建生產就緒流或批處理管道、自動管理大規模基礎設施,並提供新一代的數據,分析,和人工智能的應用。

beplay体育app下载地址客戶贏得簡單流和批ETL Lakehouse

ETL處理流和批處理工作負載是一個基本項目分析,數據科學和ML工作負載——這一趨勢是繼續加快組織生成的大量數據。但處理這個原料,非結構化數據到幹淨,記錄,和值得信賴的信息,這是一個十分重要的步驟之前,可以用來驅動業務的見解。我們從我們的客戶,將SQL查詢轉化為生產ETLbeplay体育app下载地址管道通常涉及很多繁瑣,複雜的操作工作。即使在一個小規模的,大部分的數據工程師的時間花在工具和管理基礎設施而不是轉換。我們也從我們的客戶,可觀測性和治理是非常難以實現,beplay体育app下载地址因此,經常的完全解決方案。這導致花大量的時間在未分化的任務和導致的數據是不可靠的,不可靠的和昂貴的。

這就是為什麼我們建立三角洲LiveTables,第一個ETL框架,使用一個簡單的聲明性方法構建可靠的數據管道和自動管理基礎設施大規模數據分析師和工程師可以花更少的時間在工具和專注於從數據獲得價值。DLT允許數據工程師和分析師大大減少實現時間的加速發展和自動化複雜的操作任務。

三角洲生活表已經給生產用例全球領先企業。從創業企業,400多家公司包括ADP、殼牌、H&R Block特大,麵包金融、仲量聯行、更用DLT力量自助分析和數據的下一代應用程序:

• ADP:“在ADP,我們是我們的人力資源管理數據遷移到一個集成的數據存儲在Lakehouse。三角洲生活表已經幫助我們的團隊構建質量控製,因為聲明式api,支持批處理和實時隻使用SQL,這使得我們的團隊能夠節省時間和精力管理我們的數據。”——傑克,ADP首席數據官
• Audantic:“我們的目標是繼續利用機器學習開發創新產品,擴大我們進入新的市場和地理位置。磚是一種基本的這一戰略的一部分,將幫助我們更快和更有效地到達那裏。δ住表是使我們能夠做一些事情在規模和性能方麵,我們之前沒能做,上市時間減少86%。我們現在每天運行管道相比,每周甚至每月——這是一個數量級的提高。首席信息官”——喬爾陰暗的Audantic
• 外殼:“在殼牌公司,我們將我們所有的傳感器數據合並為一個綜合數據存儲。三角洲生活表已經幫助我們的團隊節省時間和精力在管理數據(multi-trillion-record規模),不斷改善我們的人工智能工程的能力。使用此功能擴充現有lakehouse建築,磚是ETL和數據倉庫市場擾亂,這對像我們這樣的公司是很重要的。我們興奮地繼續與磚作為一個創新的合作夥伴。總經理”——丹Jeavons數據科學殼
• 麵包融資:“三角洲生活表使協作和刪除數據工程資源阻滯劑,讓我們分析和BI團隊自助而無需知道火花或Scala。事實上,我們的一個數據分析師——沒有磚或火花的經驗,能夠建立一個DLT管道將文件流在S3變成可用的探索性數據集在幾小時內使用SQL。”- Christina Taylor, Senior Data Engineer at Bread Finance

現代軟件工程進行ETL處理

DLT允許分析師和數據工程師輕鬆構建生產就緒流或批ETL管道在SQL和Python。它簡化了ETL開發獨特的捕捉一個聲明性描述的完整的數據管道來了解生活的依賴性和自動化了幾乎所有的內在運作的複雜性。與DLT,工程師可以專注於交付數據而不是操作和維護管道,並利用關鍵的好處:

• 加速ETL開發:與解決方案,需要您手工手縫線跡的代碼片段構建端到端的管道,DLT可以通過聲明表示整個數據流在SQL和Python。此外,本機DLT使現代軟件工程最佳實踐的能力開發環境(s)分開生產,容易在部署之前測試它的能力,使用參數化部署和管理環境,單元測試和文檔。結果,可以簡化開發、測試、部署、操作和監控的ETL管道以一流的結構表達轉換、CI / CD, sla和質量的期望,並無縫地處理批處理和流在一個API。
• 自動管理基礎設施:DLT重新建造,能自動管理基礎設施和自動化複雜而耗時的活動。分級集群對最優性能改變,不可預測的數據量可能是一個挑戰,導致獲得。DLT自動尺度計算滿足性能sla通過向用戶提供選項來設置最小和最大數量的實例,讓DLT規模集群根據集群利用率。此外,任務編排、錯誤處理和恢複,和性能優化都是自動處理的。DLT,你可以專注於數據轉換而不是操作。
• 數據的信心:提供可靠的數據和內置的質量控製、測試、監控和執行,以確保準確和有用的BI,數據科學、和毫升。DLT很容易創建包括一流的支持可信數據源的數據質量管理和監控工具使用一個功能叫做預期。期望有助於防止錯誤數據流入表,跟蹤數據質量隨著時間的推移,並提供工具來排除錯誤數據和細粒度的管道可觀測性得到高保真譜係圖你的管道,跟蹤依賴關係,總在你所有的管道數據質量標準。
• 簡化批處理和流媒體:為應用程序提供最新鮮/最新的數據與數據自優化和自動伸縮數據管道進行批量或流媒體處理和選擇最佳的性價比。不像其他產品,迫使你單獨處理流和批處理工作負載,DLT支持任何類型的數據負載與單個API數據工程師和分析師都可以構建雲級別的數據管道更快,無需擁有先進的工程技術數據。

DLT預覽發布以來,我們啟用了企業功能和用戶體驗改進。我們擴展我們的UI,讓它更容易安排DLT管道、觀點錯誤,管理acl,改進表血統的視覺效果,增加了數據質量可觀測性UI和度量。此外,我們已經發布了支持變化數據捕獲(CDC)高效、輕鬆地捕捉連續到達的數據,以及推出的預覽增強自動伸縮功能為流媒體提供性能優越的工作負載。

開始使用三角洲Lakehouse住表

看下麵的演示發現易用性的DLT數據工程師和分析師們:

玩這個視頻,請點擊這裏,接受餅幹

如果你已經是一個磚客戶,簡單地遵循導遊開始。閱讀發布說明了解更多關於什麼是包含在該通用版本。如果你沒有一個現有的磚的客戶,注冊一個免費試用你可以查看我們的這裏詳細的DLT定價。

接下來是什麼

報名參加我們的三角洲生活表與邁克爾·時常要和仲量聯行網絡研討會4月14日埋入和更多的了解三角洲生活表Databricks.com。