嗨,團隊,
我得到以下錯誤(mlflow.utils.databricks_utils._NoDbutilsError)在試圖使用applyInPandas注冊模型到另一個磚工作區。
我已經設置了秘密範圍和前綴來驗證第二azure磚工作空間的模型需要注冊並通過遠程URI
mlflow.set_registry_uri(“磚:/ / prod-mlflowreg: prodwss”)
如果我不使用applyInPandas,它的工作原理。但不是applyInPandas。
是mlflow當工人執行節點不工作在一個UDF。看起來mlflow不能抓住主人的憑證第二工作區。(get_databricks_host_creds錯誤)
你能看一看。謝謝。
def register_models(行):
行。reset_index (= True下降,原地= True) mlflow.set_registry_uri(磚:/ / prod-mlflowreg: prodwss) mlflow。register_model(“運行:/”+行[' run_id '][0] +“/模式”,行[“run_id”][0])返回pd。DataFrame(列=[‘零’])
結果dataframe定義模式:
esult_schema = StructType ([StructField(‘零’,StringType ())))
Mlflow注冊中心注冊模型
f_reg = sdf.groupBy (run_id) \ .applyInPandas(λdf: register_models (df)、result_schema)
錯誤:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - PythonException回溯(最近調用最後)<命令- 1616661595521875 > <模塊> 1 #觸發操作- - - - - > 2 df_reg.count ()
/磚/火花/ python / pyspark / sql /dataframe.py在計數(自我)584 2 585”“”——> 586返回int (self._jdf.count ()) 587 588 @ignore_unicode_prefix
/磚/火花/ python / lib / py4j-0.10.9-src.zip / py4j / java_gateway。py在調用(自我,* args) 1303回答= self.gateway_client.send_command(命令)1304 return_value = get_return_value(- > 1305回答,自我。gateway_client self.target_id,self.name1307)1306 temp_arg temp_args:
/磚/火花/ python / pyspark / sql /utils.py在德科(一個,* 131(千瓦)#隱藏除了來自哪裏顯示non-Pythonic 132 # JVM異常消息。其他- - > 133年raise_from(轉換)134:135
/磚/火花/ python / pyspark / sql /utils.py在raise_from (e)
PythonException:從一個UDF是拋出一個異常:“mlflow.utils.databricks_utils。_NoDbutilsError’,從- 1616661595521870 > <命令,一行18人。完整回溯:回溯(最近的電話最後):文件“/磚/ / python / pyspark /火花worker.py“654行,主要流程()文件”/磚/ / python / pyspark /火花worker.py”,646行,過程中序列化器。dump_stream (out_iter外部檔案)文件“/磚/火花/ python / pyspark / sql /熊貓serializers.py“281行,dump_stream timely_flush_timeout_ms = self.timely_flush_timeout_ms)文件”/磚/火花/ python / pyspark / sql /熊貓/serializers.py”,97行,在dump_stream批在迭代器:文件”/磚/火花/ python / pyspark / sql /熊貓/serializers.py”,271行,在init_stream_yield_batches係列在迭代器:文件”/磚/ / python / pyspark /火花worker.py”,446行,在映射器返回f(鑰匙、vals)文件”/磚/ / python / pyspark /火花worker.py”,176行,在<λ>返回λk、v:[(包裝(k、v) to_arrow_type (return_type)))文件”/磚/ / python / pyspark /火花worker.py“161行,包裝結果= f (pd。concat (value_series軸= 1))文件“/磚/ / python / pyspark /火花util.py”,109行,在包裝器返回f (參數,* kwargs)文件“命令- 1616661595521874 > <”,8號線,在文件<λ> <命令- 1616661595521870 >》第18行,register_models文件“/磚/ python / lib / python3.7 /網站/ mlflow /跟蹤/ _model_registry /fluent.py”,一行27日register_model create_model_response = client.create_registered_model(名字)文件“/磚/ python / lib / python3.7 /網站/ mlflow /跟蹤/client.py“395行,create_registered_model返回self._get_registry_client ()。create_registered_model(名稱、標簽、描述)文件“/磚/ python / lib / python3.7 /網站/ mlflow /跟蹤/ _model_registry /client.py”,47歲,在create_registered_model self.store返回。create_registered_model(名稱、標簽、描述)文件“/磚/ python / lib / python3.7 /網站/ mlflow /存儲/ model_registry / rest_store。py”, 74行,在create_registered_model response_proto =自我。_call_endpoint (CreateRegisteredModel req_body)文件“/磚/ python / lib / python3.7 /網站/ mlflow /存儲/ model_registry / rest_store。py”, 55, _call_endpoint返回call_endpoint (self.get_host_creds(),端點,方法,json_body, response_proto)文件”/磚/ python / lib / python3.7 /網站/ mlflow /跟蹤/ _model_registry /utils.py”,94行,在<λ>返回RestStore(λ:get_databricks_host_creds (store_uri))文件”/磚/ python / lib / python3.7 /網站/ mlflow / databricks_utils跑龍套。py”, 216行,在get_databricks_host_creds dbutils = _get_dbutils()文件”/磚/ python / lib / python3.7 /網站/ mlflow / databricks_utils跑龍套。py”第21行,_get_dbutils提高_NoDbutilsError mlflow.utils.databricks_utils._NoDbutilsError
