培訓和注冊機器學習模型與統一目錄
統一目錄允許細粒度安全適用於表和模型無縫地與其他機器學習組件交互在磚。本文展示了如何使用Python來訓練一個機器學習模型使用數據目錄和注冊模型統一目錄。
創建一個磚機器學習的集群
按照以下步驟創建一個單用戶磚集群運行時毫升,可以在統一目錄訪問數據。
點擊計算。
點擊創建計算。
下訪問模式中,選擇單用戶。
磚運行時毫升包括庫,需要使用單用戶集群。可以使用單個用戶集群隻由一個用戶(默認情況下,單用戶集群)的所有者。其他用戶無法連接到集群。
更多的信息特性在每個訪問模式,明白了集群訪問模式是什麼?。
在磚的運行時版本的下拉菜單,選擇毫升並選擇11.3 LTS毫升或更高版本。
點擊創建集群。
創建目錄
按照以下步驟創建一個新的目錄,你的機器學習團隊可以存儲數據資產。
與metastore分配在一個工作區,metastore管理員登錄,或作為一個用戶
創建目錄
特權。創建一個筆記本或打開磚SQL編輯器中。
運行下麵的命令來創建
毫升
目錄:創建目錄毫升;
當您創建一個目錄,一個模式命名
默認的
自動創建。授權訪問的
毫升
目錄和ml.default
模式,和創建表和視圖的能力ml_team
組。包括所有帳戶級別的用戶,可以使用賬戶用戶
。格蘭特使用目錄在目錄毫升來”毫升團隊”;格蘭特使用模式,創建表在模式毫升。默認的來”ml_team”;
現在,任何用戶的ml_team
集團可以運行下麵的例子的筆記本。
導入示例筆記本
首先,導入以下筆記本。
導入筆記本:
旁邊的筆記本,點擊複製鏈接導入。
在您的工作區中,單擊工作空間。
旁邊一個文件夾,單擊,然後單擊進口
點擊URL,然後將複製的鏈接粘貼。
導入的筆記本出現在您所選擇的文件夾。雙擊筆記本名稱來打開它。
頂部的筆記本,選擇連接筆記本磚機器學習的集群。
筆記本分為幾個高層部分:
設置。
從CSV文件讀取數據並將其寫入聯合目錄。
數據加載到熊貓dataframes和清理。
火車一個基本的分類模型。
曲調hyperparameters和優化模型。
注冊模型統一目錄。
結果寫入一個新的表並與其他用戶分享。
要運行一個細胞,點擊運行。運行整個筆記本,點擊運行所有。