我想使用LightGBM運行分布式訓練但是我不能安裝SynapseML。我曾經嚐試過這樣做幾個不同的集群(注意:我們的集群上運行AWS,重要的不確定。也,我運行磚毫升運行時v12.1)和所有的失敗與同樣的錯誤。
這裏是我采取的步驟:
1)導航到庫選項卡的頁麵我想安裝SynapseML集群。
2)點擊“安裝新”按鈕彈出安裝庫模態。
3)填充模態的選擇Maven,然後設置坐標com.microsoft.azure: synapseml_2.12:0.10.2和存儲庫來https://mmlspark.azureedge.net/maven。這是每條指令SynapseML文檔站點(參見磚部分在這裏)。
4)啟動集群
過了不多的時候,集群開始但SynapseML錯誤的安裝,使用以下錯誤文本:
圖書館的司機節點集群上安裝嚐試0206 - 190349 ms8qnkwe和失敗。請參考以下錯誤消息來解決圖書館或接觸磚的支持。錯誤代碼:DRIVER_LIBRARY_INSTALLATION_FAILURE。錯誤信息:java . util . concurrent。ExecutionException: io。FileNotFoundException:文件文件:/ local_disk0 / tmp / clusterWideResolutionDir / maven /常春藤/罐/ com.microsoft.azure_onnx-protobuf_2.12-0.9.1。jar不存在
請讓我知道我自己可以成功安裝SynapseML和疏通。非常感謝
你已經安裝了Java / Scala包,還是Python包裝器?可以安裝隻是後者,但實際上不會成功運行的代碼調用時如果你沒有安裝Java / Scala包。
這個問題似乎SynapseML開發者如何打包的jar。昨天他們指示我,違背SynapseML火花的最新版本3.2,所以我下調至10.4磚毫升的運行時,它安裝和運行。
我隻是知道稍微舊版本3.3 SynapseML據稱是在火花,所以我要re-upgrade回到磚12.1運行時,看看是否運行。
對於任何人誰可能試圖火車LightGBM模型在一個分布式的方式,記錄問題在這裏。