蔡先生的最佳實踐是什麼?

[匿名]

許多人使用磚productionalized環境的問題。使蔡先生自動化的最佳實踐是什麼?

[匿名]

使用REST API磚使蔡先生。,允許構建服務器(比如詹金斯,github行動等)來更新工件。

另外一個應該使用蔡先生實踐來存儲數據磚工作配置。使用REST API來更新和刷新的適當環境。

https://docs.m.eheci.com/dev-tools/api/latest/index.html

[gbrueckl]

如果你使用PowerShell CI / CD管道您可能想看一看我的DatabricksPS模塊磚REST API的一個包裝器。

它有專門的cmdlets再出口(如從DEV)和進口(如測試/刺激)的自動化。這包括筆記本、作業定義集群定義,秘密,…(和SQL對象很快!)

https://www.powershellgallery.com/packages/DatabricksPS

[pawelmitrus]

前一段時間我一直在尋找的答案,這是我發現當時做了什麼:

• https://menziess.github.io/howto/——我的靈感的源泉(技術部分)
• //m.eheci.com/blog/2017/10/30/continuous-integration-continuous-delivery-databricks.html——基於我一直試圖建立一些process-wise基線
• https://github.com/pawelmitrus/azure-databricks-cicd-notebooks——我自己的想法CI / CD的解決問題很常見的項目,使用筆記本電腦運行etl(這是一種混合以上)

我很樂意討論

[Kristian_Schnei]

我不知道如果它是最佳實踐,但也許它可以作為靈感。

我們做CI / CD與github pyspark代碼的單元測試操作。看一看:

https://github.com/Energinet-DataHub/geh-aggregations databricks-workspace

https://github.com/Energinet-DataHub/geh-aggregations/actions/workflows/aggregation-job-infra-cd.yml