Apache Spark作業失敗，環境目錄未找到錯誤

Spark作業在安裝庫後似乎會超時，因為安全規則阻止工作線程解析Python可執行路徑。

寫的亞當Pavlacka

最後發布時間:2022年7月1日

問題

在安裝Python庫之後(通過集群UI或使用皮普)，您的Apache Spark作業失敗找不到環境目錄錯誤消息。

org.apache.spark.SparkException:環境目錄不在/local_disk0/.ephemeral_nfs/cluster_libraries/python

導致

庫安裝在集群驅動程序節點上的網絡文件係統(NFS)上。如果任何安全組規則阻止工作者與NFS服務器通信，Spark命令無法解析Python可執行路徑。

解決方案

您應該確保您的安全組配置了適當的安全規則(AWS|Azure|GCP)。