我知道加州大學啟用共享訪問模式集群不允許使用init腳本,我嚐試使用多個解決方案所需的集群(pyodbc-install init腳本。sh,就我而言),包括安裝pyodbc包作為一個工作區圖書館和集群中使用該庫並使用魔法命令init腳本直接安裝在筆記本電腦,但已收到錯誤,這兩個解決方案。有沒有其他方法來使用init腳本在加州大學啟用共享訪問模式集群?
我附上了錯誤接收當我試著安裝pyodbc圖書館。我使用一個管理員帳戶。
圖書館的司機節點集群上安裝嚐試0516 - 171623 3 - i9on4it和失敗。請參考以下錯誤消息來解決圖書館或接觸磚的支持。錯誤代碼:DRIVER_LIBRARY_INSTALLATION_FAILURE。錯誤信息:org.apache.spark。SparkException:進程列表(/ bin /蘇、圖書館- c, bash / local_disk0 / .ephemeral_nfs / cluster_libraries / python / python_start_clusterwide。sh / local_disk0 /。ephemeral_nfs cluster_libraries / python / bin / pip安裝“pyodbc 4.0.39”——disable-pip-version-check)退出代碼1。警告:該目錄/ home /圖書館/。緩存/ pip”或它的父目錄不是當前用戶擁有或沒有可寫的。緩存已被禁用。檢查該目錄的權限和所有者。 If executing pip with sudo, you should use sudo's -H flag. ERROR: Invalid requirement: 'pyodbc 4.0.39'
你好@karthik_p我們遇到這個問題。我們有一個自定義的圖書館,我們想用一種方便的方法在我們的多用戶加州大學集群。最好的情況我們要安裝在默認情況下在集群上。雖然不可能拿它從我們的私人存儲庫通過庫界麵,也沒有init腳本可用。這是最好的解決方案來解決什麼?我們寧願不安裝它在每一個實例(筆記本)……
@aersen從來沒有試過這種情況,但你能創建全球init腳本,看看它的工作原理,這個腳本是用於所有集群,看上去它也應該支持共享模式(DBR應該13.1及以上請)https://docs.m.eheci.com/clusters/init-scripts.html
@rsenjins看起來響應所提供的@KKDataEngineer應該幫助你,看起來他工作空間庫配置和使用工作空間自由用於集群應該能夠幫助。
@KKDataEngineer看起來為工作區水平庫自定義庫的配置是不可能的,你做任何自定義修改共享庫配置和使用中請訪問模式。我可以看到定製的變化可能不支持