什麼是CI / CD磚嗎?
這篇文章是介紹CI / CD磚。CI / CD屬於DevOps,開發和操作任務的組合。
概述的CI / CD為機器學習項目在磚上,看到的磚支持CI / CD機如何學習?。
CI / CD數據分析和人工智能
持續集成和持續交付/持續部署(CI / CD)是指開發和交付軟件的過程簡而言之,通過使用自動化管道頻繁的周期。CI / CD是常見的軟件開發,但它正變得越來越必要數據工程和科學數據。通過自動化的構建、測試和部署代碼,開發團隊能夠提供更頻繁地發布和可靠而非手動流程仍然常見數據工程和數據科學團隊。
持續集成開始定期提交代碼的實踐源代碼存儲庫中的一個分支。每個提交然後與其他開發人員的提交合並防止版本衝突。變化是進一步驗證通過創建一個構建和運行自動化測試與構建。這個過程最終導致部署包,您可以部署到目標環境中,在這種情況下,一個磚的工作區。
是什麼在CI / CD管道磚嗎?
項目資產在磚實現通常在CI / CD管道:
筆記本電腦:磚筆記本通常是數據的一個關鍵部分的工程和科學工作流數據。筆記本電腦可以使用版本控製,驗證和測試他們作為CI / CD管道的一部分。對筆記本電腦可以運行自動化測試來檢查程序是否正常運行。
庫:管理所需的庫依賴關係在部署運行您的代碼。使用版本控製庫,包括自動化測試和驗證。
工作流程:磚工作流是由允許你的工作安排和使用筆記本或火花工作運行自動執行的任務。
基礎設施:基礎設施包括集群、工作區和存儲。基礎設施的變化可以驗證和測試作為CI / CD管道的一部分,確保他們是一致的,沒有錯誤。
數據管道:您還可以包括數據管道在CI / CD自動化,使用三角洲生活表,框架磚為聲明的數據管道。看到δ生活是什麼表?。
這些資產包括在CI / CD管道,可以自動工作流數據驗證、測試,和部署在一個一致的方式,使您能夠更快、更有效地交付高質量的數據解決方案。
步驟CI / CD磚
一個典型的配置磚CI / CD的管道包括以下步驟。
持續集成
設置版本控製:磚代碼和筆記本存儲在一個像Git版本控製係統。這允許您跟蹤隨時間變化和與其他團隊成員合作。看到CI / CD技術與Git和磚回購。
代碼:開發代碼和單元測試磚筆記本或使用一個外部的IDE。
構建:自動化的構建過程磚工作區使用Azure DevOps等工具,詹金斯,GitHub的行動。通過自動化,您可以構建代碼一直並將變更集成到您的工作區。
測試:開發和運行自動化測試來驗證你的代碼更改使用工具如pytest或磚CLI自動化。
發布:生成一個發布包。