執行人Pyspark環境和python包

[rbarata]

在我的公司,我們使用conda-pack確定包上可用引發執行人。有沒有更好的更好的選擇遠離創建一個新的環境並把它每次我需要一個新的python自由執行人可用嗎?

幹杯

[werners1 · Accepted solution]

磚的形式提供了圖書館安裝PyPi包,或輪/蛋。

如果你像這樣在集群上安裝包,它們被自動發送到所有的執行人。

[Kaniz]

嗨@Ricardo Barata,我們一直沒有收到你最後的回應@Werner Stinckens,我檢查,看看他的建議幫助你。否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。