azure磚計算集群上虛擬環境

[jole3112]

我使用Azure磚我想創建一個項目的虛擬環境中,保存在一個共享的計算集群。作為許多項目集群共享,有必要虛擬環境如果我想執行代碼運行在磚回購。這個虛擬環境應該很容易通過創建讓或conda.yaml通過神奇的命令文件,並激活% conda激活< env_name >(或類似的方式)的一個筆記本。我不能找到任何文檔,列出步驟,但這似乎是可行的根據@Suteja卡努裏人回答(option2)另一個問題線程在這裏。

謝謝你！

[Debayan]

嗨,您可以參考//m.eheci.com/blog/2020/06/17/simplify-python-environment-management-on-databricks-runt..。。另外,請看局限性。

請與你的下一個標記@Debayan響應將通知我,謝謝!

[jole3112]

嗨@Debayan穆克吉,

謝謝你的回應,我讀過這篇文章,這是我的理解,請反饋,如果他們是正確的:

1. 默認情況下,所有Python代碼是運行在預裝在運行時的依賴關係。當然他們可以不同於磚以外的開發人員使用的版本。
2. 神奇的命令隻% conda和% pip安裝特定的依賴關係的筆記本運行這些命令。
3. 根據上麵# 2,這些命令將不會確保所有項目內的模塊運行在相同的依賴關係。我提到的方法不能使用在圖5中,因為隻有筆記本而不是普通的python腳本,自己也需要圖書館。
4. “目前,% conda激活和% conda env創造不支持。”Hence there is no solution to create and use a single virtual environment throughout the project?

你能幫助一些額外的問題:

1. 上述項目# 4什麼時候可用(本文日期為3年前)?這將確保運行環境和開發環境是一致的,避免兼容性問題+避免手動安裝額外的/不同的包。
2. 在這個聲明中,“如果你需要一些庫總是可用的集群,您可以安裝一個init腳本或者使用集裝箱碼頭工人。”,這些解決方案將庫安裝到集群沒有能夠分離成不同的環境不同的項目使用相同的集群?如果是這種情況,那麼每個人都使用相同的集群將不得不使用最後一組庫有安裝嗎?
3. 我是他們的任何工具在Azure DB創建和管理虛擬環境,不是係統環境安裝包?

謝謝你的幫助。

[Debayan]

你好,

1. 這篇文章是3年前。我將檢查內部和確認。
2. “這些解決方案將庫安裝到集群沒有能夠分離成不同的環境不同的項目使用相同的集群?”I am not sure I got your question right. But it can be a shared cluster and also can be cloned after the libraries are installed.
3. 我可以檢查和回複。

謝謝。

[jole3112]

謝謝你,讓我知道當你有信息