設置到PYTHONPATH在執行工作流

[FranPerez]

我建立了一個工作流使用2任務。隻是為了演示的目的,我使用一個交互式集群運行工作流。

{“task_key”:“準備”,“spark_python_task”: {“python_file”:“文件:/ Workspace /回購/ devops / mlhub-mlops-dev / src / src / prepare_train。py”、“參數”(“/ dbfs /生”,“dbfs /火車”,“dbfs /列車”]},“existing_cluster_id”:“XXXX-XXXXXX-XXXXXXXXX”、“timeout_seconds email_notifications“: 0: {}}

如上所述的文檔,我設置環境變量在集群中……這是集群的json定義的摘錄:

“spark_env_vars”: {“PYSPARK_PYTHON”:“磚/ python3 / bin / python3”、“PYTHONPATH環境”:“/工作區/回購/ devops / mlhub-mlops-dev / src "}

然後,當我執行的任務類型Python,我記錄的內容sys.path我找不到在集群中配置的路徑。如果我日誌的內容os.getenv (“PYTHONPATH環境”),我什麼也得不到。看起來環境變量設置集群級別未被提升為python任務

[托馬斯]

@Fran佩雷斯在這件事情上我做了一些研究,發現目前PYTHONPATH將覆蓋在集群啟動時間,沒有辦法重新定義它。在這一點上我們建議使用已經定義到PYTHONPATH目錄庫或隻使用用戶庫對於這個。

看到到PYTHONPATH設置默認情況下您可以運行:

% sh echo $ PYTHONPATH環境

作為一個單獨的細胞的筆記本連接到您的集群。

[Cintendo]

這不會為可編輯的工作庫是可編輯的庫從easy-install.pth附加路徑使用網站的包

[jose_gonzalez]

嗨@Fran佩雷斯,

隻是一個友好的後續。做任何反應幫助你解決你的問題嗎?如果是,請其標記為最好。否則,請讓我們知道如果你還需要幫助。