Databricks運行時機器學習
Databricks Runtime for Machine Learning (Databricks Runtime ML)自動創建一個為機器學習優化的集群。Databricks Runtime ML集群包括最流行的機器學習庫,如TensorFlow、PyTorch、Keras和XGBoost,還包括分布式訓練所需的庫,如Horovod。使用Databricks Runtime ML可以加快創建集群的速度,並確保安裝的庫版本是兼容的。
有關使用Databricks進行機器學習和深度學習的完整信息,請參見Databricks機器學習指南.
有關Databricks Runtime ML版本的內容,請參閱發布說明.
Databricks Runtime ML是基於Databricks Runtime構建的。例如,Databricks Runtime 7.3 LTS For Machine Learning是在Databricks Runtime 7.3 LTS基礎上構建的。基本Databricks運行時中包含的庫在Databricks運行時中列出發布說明.
警告
如果需要符合HIPAA,請參見符合HIPAA的特性.
介紹Databricks運行時機器學習
本教程是為Databricks Runtime ML的新用戶設計的。它需要大約10分鍾的時間來完成,並展示了一個完整的端到端示例,包括加載表格數據、訓練模型、分布式超參數調優和模型推斷。它還說明了如何使用MLflow API和MLflow Model Registry。
Databricks Runtime ML中包含的庫
Databricks Runtime ML包含各種流行的ML庫。每個版本都會對庫進行更新,以包含新特性和修複。
Databricks已將受支持庫的一個子集指定為頂級庫。對於這些庫,Databricks提供了更快的更新節奏,每個運行時版本都更新到最新的包版本(防止依賴項衝突)。Databricks還為頂級庫提供高級支持、測試和嵌入式優化。
有關頂級庫和其他提供的庫的完整列表,請參閱每個可用運行時的以下文章:
如何使用Databricks Runtime ML
除了預安裝的庫之外,Databricks Runtime ML與Databricks Runtime在集群配置和管理Python包的方式上也有所不同。
使用Databricks Runtime ML創建一個集群
當你創建集群,在“Databricks Runtime version”下拉框中選擇“Databricks Runtime ML版本”。支持CPU和gpu的ML運行時都可用。
如果您選擇一個支持gpu的ML運行時,係統會提示您選擇一個兼容的驅動程序類型而且工作類型.不兼容的實例類型在下拉列表中顯示為灰色。啟用gpu的實例類型列在GPU-Accelerated標簽。
管理Python包
在Databricks Runtime 9.0 ML及以上版本中virtualenv包管理器用於安裝Python包。所有Python包都安裝在一個環境中:/磚/ python3
.
在Databricks Runtime 8.4 ML及以下版本中Conda包管理器用於安裝Python包。所有Python包都安裝在一個環境中:/磚/ python2
在集群上使用Python 2和/磚/ python3
在集群上使用Python 3。不支持切換(或激活)Conda環境。
有關管理Python庫的信息,請參見庫.