我有一個工作流運行在集群和包含一個工作任務,需要從PyPI先知庫:
{“task_key”:“my_task”、“depends_on”: [{“task_key”:“<…> "}),”notebook_task”: {“notebook_path”:“<…>”、“源”:“工作區”},“job_cluster_key”:“job_cluster”、“庫”:[{“pypi”:{“包”:“先知”= = 1.1.2}}],“timeout_seconds email_notifications“: 0: {}},
有時候工作很好但有時我得到了下麵的錯誤:
運行結果不可用:工作失敗與錯誤消息庫安裝失敗庫由於用戶錯誤pypi{包:“先知= = 1.1.2”}。錯誤消息:圖書館的司機節點集群上安裝嚐試<…>,但都以失敗告終。請參考以下錯誤消息來解決圖書館或接觸磚的支持。錯誤代碼:DRIVER_LIBRARY_INSTALLATION_FAILURE。錯誤信息:org.apache.spark。SparkException:進程列表(/磚/ python / bin /皮普,安裝、先知= = 1.1.2,——disable-pip-version-check)退出代碼1。錯誤:無法安裝包由於OSError: [Errno 2]沒有這樣的文件或目錄:/磚/ python3 / bin / f2py”
我看到建議提前這個庫安裝在一個集群中。但我開始我的工作流程的工作集群(不是一個萬能的集群)所以沒有預先安裝的能力。奇怪的是,有時很好,有時不是。
如果有一種方法來安裝圖書館100%保證集群在一個共享的工作就好了!
