我想在集群配置中設置到PYTHONPATH env變量:' PYTHONPATH = / dbfs / user /等等。但在司機和執行人env可能是覆蓋,我沒有看到它。
% sh echo $ PYTHONPATH環境的輸出:
' PYTHONPATH = /磚/火花/ python: /磚/火花/ python / lib / py4j-0.10.9.5-src.zip: /磚/罐/火花——司機driver-spark_3.3_2.12_deploy.jar: / WSFS_NOTEBOOK_DIR: python /磚/火花/:/磚/ python_shell”
和“導入係統;打印(sys.path)”:
' ' '
/磚/ python_shell /腳本,local_disk0 /火花c87ff3f0 - 1 - b67 - 4 ec4 - 9054 - 079 - bba1860a1 / userfiles - ea2f1344 51 - c6 - 4363 - 9112 - a0dcdff663d0’, python /磚/火花/,/磚/ / python / lib / py4j-0.10.9.5-src火花。郵政編碼”、“/磚/罐/火花——司機——driver-spark_3.3_2.12_deploy。jar”、“磚/ python_shell”、“/ usr / lib / python39。zip”、“/ usr / lib / python3.9”、“/ usr / lib / python3.9 lib-dynload’,”、“/ local_disk0 / .ephemeral_nfs / env / pythonenv - 267 a0576 e6bd - 4505 b257 - 37 a4560e4756 / lib / python3.9 /網站',' / local_disk0 / .ephemeral_nfs cluster_libraries / python / lib / python3.9 /網站',' /磚/ python / lib / python3.9 /網站”,“/ usr /地方/ lib / python3.9 / dist-packages ', ' / usr / lib / python3 / dist-packages ', ' /磚/ python / lib / python3.9 /網站/ IPython /擴展',' /根/ .ipython '
' ' '
如果我從回購它工作加上回購無處不在' /工作區/回購(電子郵件保護)/ my_repo’,然後我需要我所有的模塊直接和不方便。
請讓我知道如果有一個變通方法來設置/ dbfs的路徑在所有節點沒有醜陋的* * * * * UDF的訣竅,但直接從集群init腳本或最好的將是動態的火花。conf的財產。
