取消
顯示的結果
而不是尋找
你的意思是:

添加到PYTHONPATH環境互動的筆記本

uzadude
新的貢獻者三世

我想在集群配置中設置到PYTHONPATH env變量:' PYTHONPATH = / dbfs / user /等等。但在司機和執行人env可能是覆蓋,我沒有看到它。

% sh echo $ PYTHONPATH環境的輸出:

' PYTHONPATH = /磚/火花/ python: /磚/火花/ python / lib / py4j-0.10.9.5-src.zip: /磚/罐/火花——司機driver-spark_3.3_2.12_deploy.jar: / WSFS_NOTEBOOK_DIR: python /磚/火花/:/磚/ python_shell”

和“導入係統;打印(sys.path)”:

' ' '

/磚/ python_shell /腳本,local_disk0 /火花c87ff3f0 - 1 - b67 - 4 ec4 - 9054 - 079 - bba1860a1 / userfiles - ea2f1344 51 - c6 - 4363 - 9112 - a0dcdff663d0’, python /磚/火花/,/磚/ / python / lib / py4j-0.10.9.5-src火花。郵政編碼”、“/磚/罐/火花——司機——driver-spark_3.3_2.12_deploy。jar”、“磚/ python_shell”、“/ usr / lib / python39。zip”、“/ usr / lib / python3.9”、“/ usr / lib / python3.9 lib-dynload’,”、“/ local_disk0 / .ephemeral_nfs / env / pythonenv - 267 a0576 e6bd - 4505 b257 - 37 a4560e4756 / lib / python3.9 /網站',' / local_disk0 / .ephemeral_nfs cluster_libraries / python / lib / python3.9 /網站',' /磚/ python / lib / python3.9 /網站”,“/ usr /地方/ lib / python3.9 / dist-packages ', ' / usr / lib / python3 / dist-packages ', ' /磚/ python / lib / python3.9 /網站/ IPython /擴展',' /根/ .ipython '

' ' '

如果我從回購它工作加上回購無處不在' /工作區/回購(電子郵件保護)/ my_repo’,然後我需要我所有的模塊直接和不方便。

請讓我知道如果有一個變通方法來設置/ dbfs的路徑在所有節點沒有醜陋的* * * * * UDF的訣竅,但直接從集群init腳本或最好的將是動態的火花。conf的財產。

5回複5

al -
重視貢獻三世

那太好了,感謝分享解決方案。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map