我有一個工作流運行在集群和包含一個工作任務,需要從PyPI先知庫:
{“task_key”:“my_task”、“depends_on”: [{“task_key”:“<…> "}),”notebook_task”: {“notebook_path”:“<…>”、“源”:“工作區”},“job_cluster_key”:“job_cluster”、“庫”:[{“pypi”:{“包”:“先知”= = 1.1.2}}],“timeout_seconds email_notifications“: 0: {}},
有時候工作很好但有時我得到了下麵的錯誤:
運行結果不可用:工作失敗與錯誤消息庫安裝失敗庫由於用戶錯誤pypi{包:“先知= = 1.1.2”}。錯誤消息:圖書館的司機節點集群上安裝嚐試<…>,但都以失敗告終。請參考以下錯誤消息來解決圖書館或接觸磚的支持。錯誤代碼:DRIVER_LIBRARY_INSTALLATION_FAILURE。錯誤信息:org.apache.spark。SparkException:進程列表(/磚/ python / bin /皮普,安裝、先知= = 1.1.2,——disable-pip-version-check)退出代碼1。錯誤:無法安裝包由於OSError: [Errno 2]沒有這樣的文件或目錄:/磚/ python3 / bin / f2py”
我看到建議提前這個庫安裝在一個集群中。但我開始我的工作流程的工作集群(不是一個萬能的集群)所以沒有預先安裝的能力。奇怪的是,有時很好,有時不是。
如果有一種方法來安裝圖書館100%保證集群在一個共享的工作就好了!
@Eugene Bikkinin:
選項1:
錯誤消息表明,安裝“先知”圖書館的磚的司機節點集群上失敗。具體地說,它看來,安裝無法找到該文件/磚/ python3 / bin / f2py。
一個可能的解決方案是再次嚐試安裝該庫,但是
——no-binary國旗。這有時會幫助如果有問題的預構建二進製包。這告訴磚使用先知pip安裝庫,和使用——no-binary國旗
[{“分類”:“皮普”、“pipPackages”:[{“包”:“先知”、“noBinary”:真正}]}]
選項2:
步驟來安裝PyPI上包磚共享集群工作如下:
一旦PyPI包安裝,它將提供給所有工作運行在集群共享工作。
@Eugene Bikkinin:
在磚,創建一個臨時集群,集群是工作按需運行一個特定的工作或任務。
類似於Kubernetes豆莢,工作上創建集群現有通用磚的集群。這些集群是短暫的工作,工作完成後終止。他們是用來隔離一個特定的工作或任務所需的資源的資源主要通用集群。
雖然可以顯式地設置一個圖書館工作集群,集群工作的主要目的是提供專用的資源為一個特定的工作或任務。相比之下,通用集群在磚長壽,用於各種工作負載運行,包括互動工作負載,流媒體,和批處理工作。
通用集群優化通用的計算和優化通常包括節點CPU和內存密集型工作負載。他們是為了提供一個靈活的和可伸縮的平台同時運行不同類型的工作負載。Beplay体育安卓版本
希望這個解釋能幫助!