介紹磚工作流

今天我們興奮地介紹磚的工作流,全麵管理編製服務這是深深與磚Lakehouse集成平台。Beplay体育安卓版本工作流支持數據工程師、數據科學家和分析師建立可靠的數據,分析和ML工作流在任何雲,而不需要管理複雜的基礎設施。最後,每個用戶被授權提供及時、準確、可行的見解為他們的業務計劃。

lakehouse使它更容易為企業進行雄心勃勃的數據和ML的舉措。然而,編排和管理生產工作流是許多組織的瓶頸,需要複雜的外部工具(例如Apache氣流)或特定於雲的解決方案(例如Azure數據工廠,AWS步功能,GCP工作流)。這些工具單獨任務編排從底層數據處理平台限製可觀測性,並提高了整體複雜性為最終用戶。Beplay体育安卓版本

磚工作流是全麵管理編製服務對於你所有的數據,分析,和人工智能的需要。緊密集成與底層lakehouse平台確保您創建和運行可靠的生產工作負載在任何雲,為終端用戶提供深Beplay体育安卓版本度和集中監控與簡單。

安排什麼地方

工作流允許用戶構建ETL管道自動管理,包括攝入和血統,使用三角洲生活表。你也可以安排筆記本的任意組合,SQL,火花,毫升模型,和印度生物技術部崗位工作流程,包括調用其他係統。工作流可以在GCP、AWS和Azure,雲給你完整的靈活性和獨立性。

可靠和全麵管理

建造高度可靠的,每一個工作流和工作流中的任務是孤立的,使不同的團隊合作,而不必擔心影響彼此的工作。進行協調器,工作流管理你的資源,所以你不需要。你可以依靠工作流數據在任何規模,加入了成千上萬的顧客已經推出數以百萬計的機器每天工作流程和跨多個雲。beplay体育app下载地址

簡單的工作流編輯每一個用戶

當我們建立磚工作流,我們想讓它為任何用戶簡單,數據工程師和分析師,編排生產數據工作流無需學習複雜的工具或依賴於it團隊。考慮下麵的例子,火車一個推薦ML模式。這裏,使用工作流編排和運行七種不同的任務,攝取訂單數據自動加載程序過濾數據與標準Python代碼,和使用筆記本電腦與MLflow培訓和版本管理模型。所有這些可以構建、管理和監視數據團隊使用工作流UI。高級用戶可以使用一個表達API包括構建工作流支持CI / CD。

“磚工作流允許我們的分析師輕鬆地創建、運行、監控、管道沒有任何基礎設施管理和修複數據。這讓他們擁有完整的自主設計和提高ETL過程,為我們的客戶生產必備的見解。我們興奮地移動氣流管道磚工作流。”Anup Segu, Senior Software Engineer, YipitData

在Lakehouse工作流監控集成

作為你的組織創建數據和ML工作流,就必須管理和監控他們無需部署額外的基礎設施。工作流集成在磚與現有的資源訪問控製,使您可以輕鬆地管理跨部門和團隊的訪問。此外,磚工作流包括本地監視功能,以便業主和管理人員可以快速識別和診斷問題。例如,新發布矩陣視圖允許用戶分流不健康的工作流運行乍一看:

作為單獨的工作流已經監控、工作流等指標可以與現有的監控解決方案集成Azure監視器,AWS監測,Datadog預覽(目前)。

“磚工作流的釋放我們的時間在處理物流日常工作流運行。用新修複/重新運行功能實現,它幫助減少我們的工作流程周期時間繼續工作運行代碼修複後無需重新運行之前完成其他步驟修複。與ML模式相結合,數據存儲和SQL分析儀表盤等,它為我們提供了一套完整的工具為我們管理我們的大數據管道。”Yanyan Wu VP, Head of Unconventionals Data, Wood Mackenzie – A Verisk Business

開始使用磚工作流

生產力提高,全麵管理經驗,綜合lakehouse協調器提供,我們邀請你今天來創建您的第一個磚工作流。

在磚工作區,選擇工作流,單擊Create,提示在UI中添加你的第一個任務,然後後續任務和依賴關係。更多地了解磚工作流的訪問我們的網頁和閱讀文檔。

看下麵的演示發現磚工作流的易用性:

在接下來的幾個月,你可以期待的特性,使它更容易作者和監控工作流和更多。與此同時,我們會聽到你的愛關於你的經驗和其他功能你想看到的。