11-29-2021時間是06:58我
簡而言之,我們的目標是增加一個步驟CI工作將在容器中運行測試,據說模仿DBR集群——目前我們應該使用7.3。我們考慮使用databricksruntime圖片(可能是一個標準:7。x現在,https://hub.docker.com/r/databricksruntime/standard/tags)和計劃與pytest和其他一些庫定製它這裏描述:https://docs.m.eheci.com/clusters/custom-containers.html option-1-use-a-base-built-by-databricks。
我們遇到的問題是,沒有圖片為特定小DBR版本,有一些不匹配的版本的python庫安裝在形象和那些在集群上安裝,https://docs.m.eheci.com/release-notes/runtime/7.3.html installed-python-libraries。你能建議如果有一個很好的選擇圖像特定DBR的版本,與庫版本匹配的實際DBR嗎?
11-30-2021上午07:38
嗨@Sepideh Ebrahimi,由於集群是磚專用的,你這不是在本地運行它。作為@Werner Stinckens說,你也可以建立自己的形象,但必須在集群中運行。但有磚連接(https://docs.m.eheci.com/dev-tools/databricks-connect.html)基本上讓你建立你的代碼在您的IDE,並執行相同的集群磚(這將運行在您的工作空間)。
在原帖子查看解決方案
11-29-2021家族
在我看來磚是雲係統構建的火花,所以最好的選擇是在雲環境中運行測試。基本上所有的測試將通過工作運行API和使用回購。當然,你仍然可以使用碼頭工人在所有3環境:
測試可以運行SQL查詢和比較結果等東西通過工作(返回)。我也想實現SQL警報測試,但他們仍在預覽。
我也認為作為回購很新,我們能有更多的改進與CI / CD管道電流方法遠非完美
11-29-202109:56我
嗯,這個問題經常出現。
磚碼頭工人的形象(單個節點)的不同運行時可以為測試目的/ dev的工作部署。
我想……我同意磚是基於雲的測試應在雲平台上運行。Beplay体育安卓版本但還有一個情況下運行單元測試等在本地容器。
我認為你是困在磚上運行測試本身。
我相信會有很多改進整個開發工作流程。
11-29-2021下午10:56
@Sepideh Ebrahimi請讓我們知道,回答你的查詢。謝謝。
11-30-2021上午12:30
@Atanu Sarkar並非如此。問題是我們能得到一個DBR形象和部署外部數據磚嗎?
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。
