取消
顯示的結果
而不是尋找
你的意思是:

如何讓一個小DBR形象嗎?

User16855813985
新的貢獻者二世

簡而言之,我們的目標是增加一個步驟CI工作將在容器中運行測試,據說模仿DBR集群——目前我們應該使用7.3。我們考慮使用databricksruntime圖片(可能是一個標準:7。x現在,https://hub.docker.com/r/databricksruntime/standard/tags)和計劃與pytest和其他一些庫定製它這裏描述:https://docs.m.eheci.com/clusters/custom-containers.html option-1-use-a-base-built-by-databricks

我們遇到的問題是,沒有圖片為特定小DBR版本,有一些不匹配的版本的python庫安裝在形象和那些在集群上安裝,https://docs.m.eheci.com/release-notes/runtime/7.3.html installed-python-libraries。你能建議如果有一個很好的選擇圖像特定DBR的版本,與庫版本匹配的實際DBR嗎?

1接受解決方案

接受的解決方案

Atanu
尊敬的貢獻者
尊敬的貢獻者

嗨@Sepideh Ebrahimi,由於集群是磚專用的,你這不是在本地運行它。作為@Werner Stinckens說,你也可以建立自己的形象,但必須在集群中運行。但有磚連接(https://docs.m.eheci.com/dev-tools/databricks-connect.html)基本上讓你建立你的代碼在您的IDE,並執行相同的集群磚(這將運行在您的工作空間)。

在原帖子查看解決方案

6個回答6

Hubert_Dudek1
尊敬的貢獻者三世

在我看來磚是雲係統構建的火花,所以最好的選擇是在雲環境中運行測試。基本上所有的測試將通過工作運行API和使用回購。當然,你仍然可以使用碼頭工人在所有3環境:

  • 開發環境,
  • 構建管道環境(我們部署和運行測試後提交/拉請求)
  • 釋放管道(生產)

測試可以運行SQL查詢和比較結果等東西通過工作(返回)。我也想實現SQL警報測試,但他們仍在預覽。

我也認為作為回購很新,我們能有更多的改進與CI / CD管道電流方法遠非完美:slightly_smiling_face:

werners1
尊敬的貢獻者三世

嗯,這個問題經常出現。

磚碼頭工人的形象(單個節點)的不同運行時可以為測試目的/ dev的工作部署。

我想……我同意磚是基於雲的測試應在雲平台上運行。Beplay体育安卓版本但還有一個情況下運行單元測試等在本地容器。

我認為你是困在磚上運行測試本身。

我相信會有很多改進整個開發工作流程。

Atanu
尊敬的貢獻者
尊敬的貢獻者

@Sepideh Ebrahimi請讓我們知道,回答你的查詢。謝謝。

User16855813985
新的貢獻者二世

@Atanu Sarkar並非如此。問題是我們能得到一個DBR形象和部署外部數據磚嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map