在機器學習Python命令失敗集群

Python命令失敗磚運行時對機器學習的集群。Conda。

寫的arjun.kaimaparambilrajan

去年發表在:2022年5月16日

問題

您使用的是磚集群運行時對機器學習和Python的筆記本是失敗的。

你找到一個無效的語法錯誤日誌中。

SyntaxError:無效語法文件“/ local_disk0 / tmp / 1593092990800 - 0 / PythonShell。py”,第363行def __init__(自我,* args, condaMagicHandler = None, * * kwargs):

導致

的鍵值/etc/environment /文件被覆蓋用戶環境變量。

有幾個默認的環境變量,不應該被覆蓋。

例如,MLFLOW_CONDA_HOME = /磚/ conda默認設置。如果你覆蓋這個值就會導致無效的語法錯誤。

這個示例init腳本會引起問題,因為它是取代,而不是添加一個值。

% python dbutils.fs.put(" /磚/ init腳本/ set-env。sh”、“”“# !/bin/bash sudo回聲VAR1 = " VAL1 " > /etc/environment sudo回聲VAR2 = " VAL2 " > /etc/environment sudo回聲VAR3 = " VAL3 " > /etc/environment”“”,真的)

解決方案

你不應該覆蓋的任何值/etc/environment /文件。

你應該總是附加變量/etc/environment /文件。

這個示例init腳本可以避免這個問題通過添加每一個價值/etc/environment /文件。

% python dbutils.fs.put(" /磚/ init腳本/ set-env。sh”、“”“# !/bin/bash sudo回聲VAR1 = " VAL1 " > > /etc/environment sudo回聲VAR2 = " VAL2 " > > /etc/environment sudo回聲VAR3 = " VAL3 " > > /etc/environment”“”,真的)


這篇文章有用嗎?