與Python輪任務部署生產管道更容易

以其豐富的開源生態係統和平易近人的語法,Python的主要編程語言已經成為數據工程和機器學習。數據和ML的工程師已經在使用磚來編排管道使用Python的筆記本和腳本。今天,我們自豪地宣布,磚現在可以運行Python的輪子,便於開發、打包和部署更複雜的Python數據和ML管道代碼。

Python輪任務可以執行交互式集群和集群的一部分工作的工作與多個任務。所有輸出捕獲和記錄作為任務執行的一部分,這樣很容易理解發生了什麼,而不必進入集群日誌。

的輪包格式允許Python開發人員包項目的組件,所以他們可以很容易地、可靠地安裝在另一個係統。就像JAR格式在JVM的世界,一個輪子是壓縮,單個文件構建工件,通常CI / CD係統的輸出。類似於一個JAR,不僅輪包含源代碼引用它的所有依賴項。

運行工作輪,首先建立本地Python輪或在CI / CD管道,然後上傳到雲存儲。指定的路徑輪在任務並選擇需要執行的方法作為入口點。任務參數傳遞給你的主要方法通過* args或* * kwargs。

Python在磚工作輪任務現在投入使用。我們將對你的愛和嚐試這個功能告訴我們如何更好地支持Python數據工程師。