Databricks運行時機器學習

Databricks Runtime for Machine Learning (Databricks Runtime ML)自動創建一個為機器學習優化的集群。Databricks Runtime ML集群包括最流行的機器學習庫,如TensorFlow、PyTorch、Keras和XGBoost,還包括分布式訓練所需的庫,如Horovod。使用Databricks Runtime ML可以加快創建集群的速度,並確保安裝的庫版本是兼容的。

有關使用Databricks進行機器學習和深度學習的完整信息,請參見Databricks機器學習指南

有關Databricks Runtime ML版本的內容,請參閱發布說明

Databricks Runtime ML是基於Databricks Runtime構建的。例如,Databricks Runtime 7.3 LTS For Machine Learning是在Databricks Runtime 7.3 LTS基礎上構建的。基本Databricks運行時中包含的庫在Databricks運行時中列出發布說明

警告

如果需要符合HIPAA,請參見符合HIPAA的特性

介紹Databricks運行時機器學習

本教程是為Databricks Runtime ML的新用戶設計的。它需要大約10分鍾的時間來完成,並展示了一個完整的端到端示例,包括加載表格數據、訓練模型、分布式超參數調優和模型推斷。它還說明了如何使用MLflow API和MLflow Model Registry。

數據庫教程筆記本

在新標簽頁打開筆記本

Databricks Runtime ML中包含的庫

Databricks Runtime ML包含各種流行的ML庫。每個版本都會對庫進行更新,以包含新特性和修複。

Databricks已將受支持庫的一個子集指定為頂級庫。對於這些庫,Databricks提供了更快的更新節奏,每個運行時版本都更新到最新的包版本(防止依賴項衝突)。Databricks還為頂級庫提供高級支持、測試和嵌入式優化。

有關頂級庫和其他提供的庫的完整列表,請參閱每個可用運行時的以下文章:

如何使用Databricks Runtime ML

除了預安裝的庫之外,Databricks Runtime ML與Databricks Runtime在集群配置和管理Python包的方式上也有所不同。

使用Databricks Runtime ML創建一個集群

當你創建集群,在“Databricks Runtime version”下拉框中選擇“Databricks Runtime ML版本”。支持CPU和gpu的ML運行時都可用。

選擇Databricks Runtime ML

如果您選擇一個支持gpu的ML運行時,係統會提示您選擇一個兼容的驅動程序類型而且工作類型.不兼容的實例類型在下拉列表中顯示為灰色。啟用gpu的實例類型列在GPU-Accelerated標簽。

重要的

  • 庫在你的工作空間自動安裝到所有集群可能與Databricks Runtime ML中包含的庫衝突。在使用Databricks Runtime ML創建集群之前,請清除在所有集群上自動安裝衝突庫的複選框。看到發行說明查看Databricks Runtime ML每個版本都包含的庫列表。

  • 要訪問用於機器學習工作流的Unity Catalog中的數據,必須使用單用戶集群.用戶隔離群集與Databricks Runtime ML不兼容。

管理Python包

在Databricks Runtime 9.0 ML及以上版本中virtualenv包管理器用於安裝Python包。所有Python包都安裝在一個環境中:/磚/ python3

在Databricks Runtime 8.4 ML及以下版本中Conda包管理器用於安裝Python包。所有Python包都安裝在一個環境中:/磚/ python2在集群上使用Python 2和/磚/ python3在集群上使用Python 3。不支持切換(或激活)Conda環境。

有關管理Python庫的信息,請參見

支持自動機器學習

Databricks Runtime ML包括自動化模型開發過程的工具,並幫助您高效地找到性能最佳的模型。

  • AutoML自動創建、調優和評估一組模型,並為每次運行創建一個包含源代碼的Python筆記本,以便您可以檢查、複製和修改代碼。

  • 管理MLflow管理端到端模型生命周期,包括跟蹤實驗運行,部署和共享模型,以及維護集中的模型注冊表。

  • Hyperopt,以SparkTrials類,自動化和分發ML模型參數調優。

限製

Databricks運行時ML不支持: