使用init腳本在UC啟用共享訪問模式集群

[ah0896]

我知道加州大學啟用共享訪問模式集群不允許使用init腳本,我嚐試使用多個解決方案所需的集群(pyodbc-install init腳本。sh,就我而言),包括安裝pyodbc包作為一個工作區圖書館和集群中使用該庫並使用魔法命令init腳本直接安裝在筆記本電腦,但已收到錯誤,這兩個解決方案。有沒有其他方法來使用init腳本在加州大學啟用共享訪問模式集群?

我附上了錯誤接收當我試著安裝pyodbc圖書館。我使用一個管理員帳戶。

圖書館的司機節點集群上安裝嚐試0516 - 171623 3 - i9on4it和失敗。請參考以下錯誤消息來解決圖書館或接觸磚的支持。錯誤代碼:DRIVER_LIBRARY_INSTALLATION_FAILURE。錯誤信息:org.apache.spark。SparkException:進程列表(/ bin /蘇、圖書館- c, bash / local_disk0 / .ephemeral_nfs / cluster_libraries / python / python_start_clusterwide。sh / local_disk0 /。ephemeral_nfs cluster_libraries / python / bin / pip安裝“pyodbc 4.0.39”——disable-pip-version-check)退出代碼1。警告:該目錄/ home /圖書館/。緩存/ pip”或它的父目錄不是當前用戶擁有或沒有可寫的。緩存已被禁用。檢查該目錄的權限和所有者。 If executing pip with sudo, you should use sudo's -H flag. ERROR: Invalid requirement: 'pyodbc 4.0.39'

[ah0896]

@karthik p沒有我安裝pyodbc圖書館通過工作區首先安裝圖書館在工作區中,然後試圖在集群上安裝它,它就不能安裝在集群上和上麵所示的錯誤。

[rsenjins]

你好@karthik_p我們遇到這個問題。我們有一個自定義的圖書館,我們想用一種方便的方法在我們的多用戶加州大學集群。最好的情況我們要安裝在默認情況下在集群上。雖然不可能拿它從我們的私人存儲庫通過庫界麵,也沒有init腳本可用。這是最好的解決方案來解決什麼?我們寧願不安裝它在每一個實例(筆記本)……

[karthik_p]

@aersen從來沒有試過這種情況,但你能創建全球init腳本,看看它的工作原理,這個腳本是用於所有集群,看上去它也應該支持共享模式(DBR應該13.1及以上請)https://docs.m.eheci.com/clusters/init-scripts.html

[rsenjins]

謝謝你的快速反應。不幸的是,全球init腳本不工作多用戶加州大學集群。似乎是一個相當大的挑戰就是,如何讓客戶庫可以在這樣的集群。你也許意識到加州大學集群init腳本多用戶是否在管道開發進一步磚版本> 13.1的?

[karthik_p]

@rsenjins看起來響應所提供的@KKDataEngineer應該幫助你,看起來他工作空間庫配置和使用工作空間自由用於集群應該能夠幫助。

@KKDataEngineer看起來為工作區水平庫自定義庫的配置是不可能的,你做任何自定義修改共享庫配置和使用中請訪問模式。我可以看到定製的變化可能不支持