取消
顯示的結果
而不是尋找
你的意思是:

雷集群作為一個庫而不是notebook-scoped庫

美聯儲
新的貢獻者三世

這篇文章正確地顯示安裝與%皮普的“雷”,盡管它沒有提及,作為集群安裝庫不能工作。

我認為,原因是“setup_ray_cluster”將使用的係統。可執行文件”(即“/ local_disk0 / .ephemeral_nfs / env / pythonEnv - {UUID} / bin / python”)start_ray_node.py,進而調用“雷”可執行的命令。

如果“雷”安裝“% pip”其可執行的命令將在相同的文件夾”係統。可執行的,所以,一切工作正常,但是如果射線”作為集群安裝庫(即在/ local_disk0 / .ephemeral_nfs / cluster_libraries / python的)然後找不到它。

我試著將它添加到路徑,但沒有工作

進口sys sys.path.append (“/ local_disk0 .ephemeral_nfs / cluster_libraries / python / bin”)

和更多的調試(在一個新的會話)

導入子流程導入係統導入操作係統打印(“/ local_disk0 /。ephemeral_nfs cluster_libraries / python / bin " sys.path) #假打印(“/ local_disk0 /。os.environ ephemeral_nfs cluster_libraries / python / bin”[“路徑”])#真正的打印(subprocess.run((“雷”,”——版本”),capture_output = True) .stdout.decode (“utf - 8”)) #雷,tripwire版本

1接受解決方案

接受的解決方案

美聯儲
新的貢獻者三世

醜,但這似乎工作

導入係統導入操作係統從ray.util進口shutil。火花進口setup_ray_cluster shutdown_ray_cluster shutil。(“/ local_disk0 /副本。ephemeral_nfs / cluster_libraries / python / bin /雷”,os.path.dirname (sys.executable)) setup_ray_cluster (num_worker_nodes = 4, num_cpus_per_node = 8, collect_log_to_path = / dbfs /線/日誌)

在原帖子查看解決方案

1回複1

美聯儲
新的貢獻者三世

醜,但這似乎工作

導入係統導入操作係統從ray.util進口shutil。火花進口setup_ray_cluster shutdown_ray_cluster shutil。(“/ local_disk0 /副本。ephemeral_nfs / cluster_libraries / python / bin /雷”,os.path.dirname (sys.executable)) setup_ray_cluster (num_worker_nodes = 4, num_cpus_per_node = 8, collect_log_to_path = / dbfs /線/日誌)

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map