遺留MLflow模型在磚

需求

• 遺留MLflow模型用於Python MLflow服務模型。你必須聲明所有模型conda環境的依賴性。看到日誌模型依賴。

• 使模型服務,你必須有集群創建權限。

模型從模型注冊服務

在注冊表磚從模型的模型服務是可用的。

為驗證模型

從服務選項卡中,您可以發送一個請求到服務模型和視圖響應。

服務版本管理

所有活動部署(non-archived)模型版本,你可以使用uri查詢。磚時自動部署新的模型版本的注冊,並自動刪除舊版本時存檔。

訪問權限管理模型

模型訪問權限繼承模型注冊表。啟用或禁用服務功能需要“管理”權限的注冊模型。任何閱讀權利可以得分的任何部署的版本。

分數部署模型版本

取得一個部署模型中,您可以使用UI或發送一個REST API請求的URI模式。

curl - x POST - u令牌:DATABRICKS_API_TOKEN美元MODEL_VERSION_URI美元\- h“application / json內容類型:\- d”({“sepal_length”: 5.1,“sepal_width”: 3.5,“petal_length”: 1.4,“petal_width”: 0.2}]“

curl - x POST - u令牌:DATABRICKS_API_TOKEN美元MODEL_VERSION_URI美元\- h“application / json內容類型:\- d{“輸入”:[[5.1,3.5,1.4,0.2]]}”

進口numpy作為np進口熊貓作為pd進口請求defcreate_tf_serving_json(數據):返回{“輸入”:{的名字:數據(的名字]。tolist()為的名字在數據。鍵()}如果isinstance(數據,dict)其他的數據。tolist()}defscore_model(model_uri,databricks_token,數據):頭={“授權”:f“不記名{databricks_token}”,“內容類型”:“application / json”,}data_json=數據。to_dict(東方=“記錄”)如果isinstance(數據,pd。DataFrame)其他的create_tf_serving_json(數據)響應=請求。請求(方法=“職位”,頭=頭,url=model_uri,json=data_json)如果響應。status_code! =200年:提高異常(f“請求失敗狀態{響應。status_code},{響應。文本}”)返回響應。json()#接受大熊貓DataFrames評分模型數據=pd。DataFrame([{“sepal_length”:5.1,“sepal_width”:3.5,“petal_length”:1.4,“petal_width”:0.2}))score_model(MODEL_VERSION_URI,DATABRICKS_API_TOKEN,數據)#得分一個接受張量的模型數據=np。asarray([[5.1,3.5,1.4,0.2]])score_model(MODEL_VERSION_URI,DATABRICKS_API_TOKEN,數據)

監控服務模型

服務頁麵顯示狀態指標服務集群以及各個模型版本。

• 檢查服務集群的狀態,使用模型的事件選項卡,顯示一個列表的所有服務事件模型。

• 檢查單個模型的狀態版本,單擊模型版本選項卡並滾動到視圖日誌或版本的事件選項卡。

定製服務集群

定製服務集群,使用集群設置選項卡上的服務選項卡。

• 修改內存大小和數量的核心服務集群,使用實例類型下拉菜單中選擇所需的集群配置。當你點擊保存,現有的集群是終止並創建一個新的集群與指定的設置。

• 添加一個標簽,類型的名稱和值添加標簽字段並單擊添加。

• 編輯或刪除現有的標簽,點擊一個圖標的行動列的標簽表。

已知的錯誤

ResolvePackageNotFound:pyspark = 3.1.0

這個錯誤可能發生取決於如果一個模型pyspark和記錄使用磚運行時的8.倍。如果你看到這個錯誤,指定pyspark版本明確記錄模型時,使用“conda_env”參數。

未被認可的內容類型參數:格式

這個錯誤可能發生的新的MLflow 2.0得分協議格式。如果你看到這個錯誤,你可能使用一個過時的得分請求格式。解決錯誤,您可以:

• 更新你的得分請求格式的最新協議。

  請注意

  下麵的例子反映了得分格式在MLflow 2.0中引入的。如果你喜歡使用MLflow 1。x,你可以修改log_model ()API調用,包括所需的MLflow版本依賴的extra_pip_requirements參數。這樣做可以確保使用適當的得分格式。

  mlflow。<味道>。log_model(…,extra_pip_requirements=(“mlflow = = 1 *”。])

  查詢模型接受大熊貓dataframe輸入。

  curl - x POST - u令牌:DATABRICKS_API_TOKEN美元MODEL_VERSION_URI美元\- h“application / json內容類型:\- d”{“dataframe_records”: [{”sepal_length (cm)”:5.1,“sepal_width (cm)”:3.5,”petal_length (cm)": 1.4, "petal_width": 0.2},{" sepal_length (cm)”:4.2, "sepal_width (cm)": 5.0, "petal_length (cm)": 0.8, "petal_width": 0.5}]}'

  查詢模型接受張量輸入。張量的輸入應格式化中描述TensorFlow服務的API文檔。

  curl - x POST - u令牌:DATABRICKS_API_TOKEN美元MODEL_VERSION_URI美元\- h“application / json內容類型:\- d{“輸入”:[[5.1,3.5,1.4,0.2]]}”

  進口numpy作為np進口熊貓作為pd進口請求defcreate_tf_serving_json(數據):返回{“輸入”:{的名字:數據(的名字]。tolist()為的名字在數據。鍵()}如果isinstance(數據,dict)其他的數據。tolist()}defscore_model(model_uri,databricks_token,數據):頭={“授權”:f“不記名{databricks_token}”,“內容類型”:“application / json”,}data_dict={“dataframe_split”:數據。to_dict(東方=“分裂”)}如果isinstance(數據,pd。DataFrame)其他的create_tf_serving_json(數據)data_json=json。轉儲(data_dict)響應=請求。請求(方法=“職位”,頭=頭,url=model_uri,json=data_json)如果響應。status_code! =200年:提高異常(f“請求失敗狀態{響應。status_code},{響應。文本}”)返回響應。json()#接受大熊貓DataFrames評分模型數據=pd。DataFrame([{“sepal_length”:5.1,“sepal_width”:3.5,“petal_length”:1.4,“petal_width”:0.2}))score_model(MODEL_VERSION_URI,DATABRICKS_API_TOKEN,數據)#得分一個接受張量的模型數據=np。asarray([[5.1,3.5,1.4,0.2]])score_model(MODEL_VERSION_URI,DATABRICKS_API_TOKEN,數據)

  可以得分數據集掌權BI桌麵使用以下步驟:

  1. 打開數據集你想得分。

  2. 去轉換數據。

  3. 在左邊麵板中右鍵單擊並選擇創建新的查詢。

  4. 去視圖>高級編輯器。

  5. 用下麵的代碼片段,替換查詢身體後填入一個適當的DATABRICKS_API_TOKEN和MODEL_VERSION_URI。

     (數據集作為表)作為表= >讓call_predict=(數據集作為表)作為列表= >讓apiToken=DATABRICKS_API_TOKEN,modelUri=MODEL_VERSION_URI,responseList=Json。文檔(網絡。內容(modelUri,(頭=(#“內容類型”=“application / json”,#“授權”=文本。格式(無記名# {0},{apiToken})),內容=Json。FromValue(數據集)]))在responseList,predictionList=列表。結合(列表。變換(表。分裂(數據集,256年),(x)= >call_predict(x))),predictionsTable=表。FromList(predictionList,(x)= >{x},{“預測”}),datasetWithPrediction=表。加入(表。AddIndexColumn(predictionsTable,“指數”),“指數”,表。AddIndexColumn(數據集,“指數”),“指數”)在datasetWithPrediction

  6. 名稱查詢你想要的模型名稱。

  7. 打開高級查詢編輯器為你的數據集和應用模型的功能。

• 如果您的評分要求使用MLflow客戶端mlflow.pyfunc.spark_udf ()MLflow客戶端升級到版本2.0或更高版本,使用最新的格式。了解更多更新的MLflow模型評分MLflow 2.0協議。

關於輸入數據格式的更多信息接受的服務器(例如,熊貓split-oriented格式),看到的MLflow文檔。