節省時間和金錢和ML工作流數據“修複並重新運行”

磚的工作是你所有的完全管理協調器數據,分析和人工智能。它賦予任何用戶輕鬆地創建和運行與多個任務和工作流定義任務之間的依賴關係。這使得代碼模塊化,更快的測試,更高效的資源利用率和簡單故障排除。深度整合的底層lakehouse平台確保生產工作負載是可靠的,同時提供全麵的監控和可伸縮性。Beplay体育安卓版本

支持真實數據和機器學習用例,組織需要建立複雜的工作流與許多不同的任務和依賴性,從模型數據攝入和ETL毫升培訓和服務。這些任務需要在一個特定的順序執行。

但當工作流中的一項重要任務失敗,影響下遊相關聯的所有任務。恢複工作流你需要知道的所有任務的影響,以及如何處理它們,沒有從頭後處理整個管道。新的“修複並重新運行”功能在磚的工作旨在解決這個問題。

考慮下麵的例子,從一個API檢索信息汽車站,然後試圖讓每個站的實時天氣信息從另一個API。所有這些API調用的結果然後吸收,轉化和聚合使用三角洲生活表的任務。

在正常操作期間這個工作流將從頭到尾成功運行。然而,如果獲取天氣數據失敗的任務?也許天氣API由於某種原因暫時不可用。在這種情況下,三角洲生活表任務將被忽略,因為一個上遊依賴失敗了。顯然我們需要重新運行工作流,但從整個過程從一開始就將花費時間和資源再加工所有station_information數據了。

新發布“修複並重新運行”功能不僅顯示了你到底在你的工作發生了故障,但省下重新運行影響的所有任務。這節省了大量的時間和成本,你不需要再加工的任務已經成功。

如果工作運行失敗,現在您可以點擊“修複”開始重新運行。彈出將告訴你哪些剩餘的任務將被執行

新運行然後給一個獨特的版本號,與失敗的父母來看便於評審和分析曆史的失敗。

當任務失敗時,“修複並重新運行”磚工作幫助你迅速解決生產流水線。直觀的用戶界麵顯示了哪些任務影響,這樣你就能解決這個問題而無需重新運行整個流程。這可以節省時間和精力,同時提供深刻見解,以減輕未來的問題。

“修複並重新運行”現在一般可用(GA),最近推出的高跟鞋集群重用。

接下來是什麼

我們興奮的路線圖,並期待著收到你的。