取消
顯示的結果
而不是尋找
你的意思是:

從“係統如何使用python包。路徑”的“編輯模式”)(在某種功能也是工人嗎?

DavideCagnoni
貢獻者

dbx同步的國家的幫助

“進口的工作你需要更新的Python路徑包括這個目標目錄同步你的' '

這個工作很好隻要包隻包含驅動程序層功能。然而,我遇到了一個問題,當我“編輯模式”包包含一個scikit-learn模型。

特別是,包包含幾個dataframe-processing函數和分類模型的訓練函數。

我的筆記本中提取一些數據,加工int trainng數據集,訓練和記錄到mlflow分類模型,然後檢索應用到仿真數據集(如pyfunc)。然而,一旦模型需要應用,一個錯誤是:

Python: ModuleNotFoundError:沒有模塊名為“my_package ' '

我認為這是由於引發工人不正確的係統。路徑的設置。有可能迫使他們考慮想要的路徑?

模仿我的筆記:

repo_base = " /工作區/回購/(電子郵件保護)/”導入係統,操作係統sys.path.append (repo_base)進口mlflow進口my_package議員火車,模擬= mp。split_train_and_simulation_dataset (full_dataset = spark.table (“mydb.mydataset”)) classification_model = mp。train_classifier(火車)mlflow.start_run classifier_training_run (): mlflow.sklearn。log_model (classification_model“模型”)logged_model_uri = f“運行:/ {classifier_training_run.info.run_id} /模式”loaded_model = mlflow.pyfunc。spark_udf(火花,model_uri = logged_model_uri result_type =“字符串”)simulation_with_prediction =模擬。withColumn(“預測”,loaded_model (feature_column) = = F.lit (“True”))顯示(simulation_with_prediction) #最後一個命令失敗

1接受解決方案

接受的解決方案

DavideCagnoni
貢獻者

一個解決方法我發現工作是替代“sys.path。附加的一些魔法pip值:

% pip安裝- e / dbfs /工作區/回購(電子郵件保護)/ my_package /

但是這樣做的缺點需要的設置。py文件工作。

在原帖子查看解決方案

8回答說8

werners1
尊敬的貢獻者三世

如果我讀錯,幫你提到的部分是關於同步dbfs而使用回購。

回購協議:

當執行筆記本回購,回購的根源是自動添加到Python路徑,這樣進口工作相對於回購根。這意味著除了打開autoreload你不需要做什麼特殊的變化反映在細胞的執行。

你是正確的關於文檔的特定部分。然而,無論如果我回購或dbfs同步,如果我運行一個筆記本從工作區,回購或的“sys.path.append (base_folder)未能就以同樣的方式工作需要運行一些代碼引發工人。

werners1
尊敬的貢獻者三世

我認為這是件事:回購您不必設置sys_path,這就是我解釋的幫助。

即使是不必要的,進一步添加路徑不應該是一個問題……

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map