庫失敗,依賴項異常

了解為什麼筆記本範圍的庫會觸發Apache Spark依賴異常;返回一個要求不能滿足的錯誤。

寫的jordan.hicks

最後發布日期:2022年5月11日

問題

您有一個定義在自定義egg或wheel文件中的Python函數,它還具有由安裝在集群上的另一個客戶包滿足的依賴關係。

當您調用此函數時,它將返回一個錯誤,表示無法滿足需求。

org.apache.spark.SparkException: Process List(/local_disk0/pythonVirtualEnvDirs/virtualEnv-d82b31df-1da3-4ee9-864d-8d1fce09c09b/bin/python, /local_disk0/pythonVirtualEnvDirs/virtualEnv-d82b31df-1da3-4ee9-864d-8d1fce09c09b/bin/pip, install, fractal==0.1.0,——disable-pip-version-check) exited with code 1。無法找到滿足要求的版本分形==0.1.0(來自版本:0.1.1,0.1.2,0.2.1,0.2.2,0.2.3,0.2.4,0.2.5,0.2.6,0.2.7,0.2.8,0.2.9,0.3.0)

例如,假設您同時安裝了輪子A和輪子B,要麼通過UI安裝到集群,要麼通過筆記本範圍的庫安裝到集群。假設A輪依賴於B輪。

  • dbutils.library.install (/ path_to_wheel / A.whl)
  • dbutils.library.install (/ path_to_wheel / B.whl)

當您嚐試使用這些庫之一進行調用時,會得到一個“需求不能滿足”錯誤。

導致

即使通過集群UI或筆記本範圍的庫安裝安裝所需的依賴項已經滿足了需求,Databricks也不能保證特定庫在集群上的安裝順序。如果一個庫正在被引用,而且它還沒有被分發到執行器節點,那麼它將回退到PyPI,並在本地使用它來滿足需求。

解決方案

您應該使用一個包含所有必需代碼和依賴項的egg或wheel文件。這確保您的代碼在運行時加載了正確的庫並可用。

這篇文章有用嗎?