Databricks Runtime 11.3 LTS for Machine Learning

Databricks Runtime 11.3 LTS for Machine Learning為機器學習和數據科學提供了一個現成的環境Databricks Runtime 11.3 LTS.Databricks Runtime ML包含許多流行的機器學習庫,包括TensorFlow、PyTorch和XGBoost。Databricks Runtime ML包含AutoML,一個自動訓練機器學習管道的工具。Databricks Runtime ML還支持使用Horovod進行分布式深度學習訓練。

請注意

LTS說明這個版本在下麵長期支持.看到長期支持(LTS)生命周期

有關更多信息,包括創建Databricks Runtime ML集群的說明,請參見介紹Databricks運行時機器學習

新功能和改進

ML是建立在Databricks Runtime 11.3 LTS之上的。有關Databricks Runtime 11.3 LTS(包括Apache Spark MLlib和SparkR)中的新特性的信息,請參見Databricks Runtime 11.3 LTS發行說明。

對Databricks AutoML的增強

磚AutoML現在支持在您的AutoML實驗中使用現有的Feature Store特征表。詳細信息請參見功能商店集成

由AutoML生成的試用筆記本現在包含允許用戶重新運行超參數調優的代碼片段。

AutoML現在支持DecimalType特性。

錯誤修複

Databricks Runtime 11.3 LTS ML包含升級版sparkdl.xgboost.以前的版本sparkdl.xgboost包含在此版本中已修複的錯誤,因此Databricks建議庫的用戶升級到Databricks Runtime 11.3 LTS ML。

為未來的發布做準備

即將發布的Databricks Runtime ML將包括sklearn1.0版。參觀sklearn文檔獲取有關如何準備此更改的信息。

Databricks Runtime ML包含兩個openblas包。的/ opt / OpenBLAS軟件包在Databricks Runtime 11.3 LTS ML中已棄用,並將在即將發布的版本中刪除。

係統環境

Databricks Runtime 11.3 LTS ML與Databricks Runtime 11.3 LTS的係統環境差異如下:

Databricks Runtime 11.3 LTS ML包含XGBoost 1.6.1,它不支持具有5.2及以下計算能力的GPU集群。

以下部分列出了Databricks Runtime 11.3 LTS ML中包含的不同於Databricks Runtime 11.3 LTS的庫。

Python庫

Databricks Runtime 11.3 LTS ML使用Virtualenv進行Python包管理,包括許多流行的ML包。

除了以下章節中指定的包外,Databricks Runtime 11.3 LTS ML還包括以下包:

  • hyperopt 0.2.7.db1

  • sparkdl 2.3.0-db3

  • feature_store 0.7.0

  • automl 1.13.2

若要在本地Python虛擬環境中重新生成Databricks Runtime ML Python環境,請下載requirements-11.3.txt文件並運行皮普安裝- rrequirements-11.3.txt.該命令安裝Databricks Runtime ML使用的所有開源庫,但不安裝Databricks開發的庫,例如databricks-automldatabricks-feature-store,或Databricks的分支hyperopt

CPU集群上的Python庫

圖書館

版本

圖書館

版本

圖書館

版本

absl-py

1.0.0

argon2-cffi

20.1.0

阿斯特

0.8.1

astunparse

1.6.3

async-generator

1.10

attrs

21.2.0

azure-core

1.22.1

azure-cosmos

4.2.0

backcall

0.2.0

backports.entry-points-selectable

1.1.1

bcrypt

4.0.0

黑色的

22.3.0

漂白劑

4.0.0

bli

0.7.8

boto3

1.21.18

botocore

1.24.18

cachetools

5.2.0

目錄

2.0.8

certifi

2021.10.8

cffi

1.14.6

chardet

4.0.0

charset-normalizer

2.0.4

點擊

8.0.3

cloudpickle

2.0.0

cmdstanpy

0.9.68

糖果

0.0.1

configparser

5.2.0

convertdate

測試盒框

密碼學

3.4.8

周期計

0.10.0

cymem

2.0.6

Cython

0.29.24

databricks-automl-runtime

0.2.11

databricks-cli

0.17.3

dbl-tempo

0.1.12

dbus-python

1.2.16

debugpy

1.4.1

裝飾

5.1.0

defusedxml

是0.7.1

蒔蘿

0.3.4

diskcache

5.4.0

distlib

0.3.6

entrypoints

0.3

ephem

4.1.3

facets-overview

1.0.0

fasttext

0.9.2

filelock

3.3.1

1.1.2

flatbuffers

1.12

fsspec

2021.8.1

未來

0.18.2

使驚訝

0.4.0

gitdb

4.0.9

GitPython

3.1.27

google-auth

2.6.0

google-auth-oauthlib

0.4.6

google-pasta

0.2.0

grpcio

1.44.0

gunicorn

20.1.0

gviz-api

1.10.0

h5py

3.3.0

hijri-converter

2.2.4

假期

0.15

horovod

0.25.0

htmlmin

0.1.12

huggingface-hub

0.9.1

idna

3.2

ImageHash

4.3.0

imbalanced-learn

0.8.1

importlib-metadata

4.8.1

ipykernel

6.12.1

ipython

7.32.0

ipython-genutils

0.2.0

ipywidgets

7.7.0

isodate

0.6.1

itsdangerous

2.0.1

絕地武士

0.18.0

Jinja2

14

jmespath

0.10.0

joblib

1.0.1

joblibspark

0.5.0

jsonschema

3.2.0

jupyter-client

6.1.12

jupyter-core

4.8.1

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

keras

2.9.0

Keras-Preprocessing

1.1.2

kiwisolver

1.3.1

korean-lunar-calendar

0.3.1

langcodes

3.3.0

libclang

14.0.6

lightgbm

3.3.2

llvmlite

0.37.0

LunarCalendar

0.0.9

尖吻鯖鯊

1.2.0

減價

3.3.6

MarkupSafe

2.0.1

matplotlib

3.4.3

matplotlib-inline

0.1.2

missingno

0.5.1

使走調

0.8.4

mleap

0.20.0

mlflow-skinny

1.29.0

多重方法

1.9

murmurhash

1.0.8

mypy-extensions

0.4.3

nbclient

0.5.3

nbconvert

6.1.0

nbformat

5.1.3

nest-asyncio

1.5.1

networkx

2.6.3

nltk

3.6.5

筆記本

6.4.5

numba

0.54.1

numpy

1.20.3

oauthlib

3.2.0

opt-einsum

3.3.0

包裝

21.0

熊貓

1.3.4

pandas-profiling

3.1.0

pandocfilters

3

paramiko

2.9.2

parso

0.8.2

pathspec

0.9.0

表“感覺”

0.6.2

容易受騙的人

0.5.2

petastorm

0.11.4

pexpect

4.8.0

phik

0.12.2

pickleshare

0.7.5

枕頭

8.4.0

皮普

21.2.4

Beplay体育安卓版本platformdirs

2.5.2

情節

5.9.0

pmdarima

1.8.5

3.0.7

prometheus-client

0.11.0

prompt-toolkit

3.0.20

先知

1.0.1

protobuf

3.19.4

psutil

5.8.0

psycopg2

2.9.3

ptyprocess

0.7.0

pyarrow

7.0.0

pyasn1

0.4.8

pyasn1-modules

0.2.8

pybind11

2.10.0

pycparser

2.20

pydantic

1.9.2

Pygments

2.10.0

PyGObject

3.36.0

PyJWT

2.5.0

PyMeeus

0.5.11

PyNaCl

1.5.0

pyodbc

4.0.31

pyparsing

3.0.4

pyrsistent

0.18.0

pystan

2.19.1.1

python-dateutil

2.8.2

python編輯器

1.0.4

pytz

2021.3

PyWavelets

1.1.1

PyYAML

6.0

pyzmq

22.2.1

正則表達式

2021.8.3

請求

2.26.0

requests-oauthlib

1.3.1

requests-unixsocket

0.2.0

rsa

4.9

s3transfer

0.5.2

scikit-learn

0.24.2

scipy

1.7.1上

seaborn

0.11.3

Send2Trash

1.8.0

setuptools

58.0.4

setuptools-git

1.2

世鵬科技電子

0.41.0

simplejson

3.17.6

六個

1.16.0

切片機

0.0.7

smart-open

5.2.1

smmap

5.0.0

寬大的

3.4.1

spacy-legacy

3.0.10

spacy-loggers

1.0.3

spark-tensorflow-distributor

1.0.0

sqlparse

0.4.2

srs

2.4.4

ssh-import-id

5.10

statsmodels

0.12.2

彙總

0.8.9

tangled-up-in-unicode

0.1.0

韌性

8.0.1

tensorboard

2.9.1

tensorboard-data-server

0.6.1

tensorboard-plugin-profile

2.8.0

tensorboard-plugin-wit

1.8.1

tensorflow-cpu

2.9.1

tensorflow-estimator

2.9.0

tensorflow-io-gcs-filesystem

0.27.0

termcolor

2.0.1

terminado

0.9.4

testpath

0.5.0

thinc

8.1.2

threadpoolctl

2.2.0

tokenize-rt

4.2.1

分詞器

0.12.1

tomli

2.0.1

火炬

1.12.1 + cpu

torchvision

0.13.1 + cpu

龍卷風

6.1

tqdm

4.62.3

traitlets

5.1.0

變形金剛

4.21.2

打字機

0.4.2

typing-extensions

3.10.0.2

ujson

4.0.2

unattended-upgrades

0.1

urllib3

1.26.7

virtualenv

20.8.0

願景

0.7.4

芥末醬

0.10.1

wcwidth

0.2.5

webencodings

0.5.1

websocket-client

1.3.1

Werkzeug

2.0.2

0.37.0

widgetsnbextension

3.6.0

打包

1.12.1

xgboost

1.6.2

氧化鋅碘仿糊

3.6.0

GPU集群上的Python庫

圖書館

版本

圖書館

版本

圖書館

版本

absl-py

1.0.0

argon2-cffi

20.1.0

阿斯特

0.8.1

astunparse

1.6.3

async-generator

1.10

attrs

21.2.0

azure-core

1.22.1

azure-cosmos

4.2.0

backcall

0.2.0

backports.entry-points-selectable

1.1.1

bcrypt

4.0.0

黑色的

22.3.0

漂白劑

4.0.0

bli

0.7.8

boto3

1.21.18

botocore

1.24.18

cachetools

5.2.0

目錄

2.0.8

certifi

2021.10.8

cffi

1.14.6

chardet

4.0.0

charset-normalizer

2.0.4

點擊

8.0.3

cloudpickle

2.0.0

cmdstanpy

0.9.68

糖果

0.0.1

configparser

5.2.0

convertdate

測試盒框

密碼學

3.4.8

周期計

0.10.0

cymem

2.0.6

Cython

0.29.24

databricks-automl-runtime

0.2.11

databricks-cli

0.17.3

dbl-tempo

0.1.12

dbus-python

1.2.16

debugpy

1.4.1

裝飾

5.1.0

defusedxml

是0.7.1

蒔蘿

0.3.4

diskcache

5.4.0

distlib

0.3.6

entrypoints

0.3

ephem

4.1.3

facets-overview

1.0.0

fasttext

0.9.2

filelock

3.3.1

1.1.2

flatbuffers

1.12

fsspec

2021.8.1

未來

0.18.2

使驚訝

0.4.0

gitdb

4.0.9

GitPython

3.1.27

google-auth

2.6.0

google-auth-oauthlib

0.4.6

google-pasta

0.2.0

grpcio

1.44.0

gunicorn

20.1.0

gviz-api

1.10.0

h5py

3.3.0

hijri-converter

2.2.4

假期

0.15

horovod

0.25.0

htmlmin

0.1.12

huggingface-hub

0.9.1

idna

3.2

ImageHash

4.3.0

imbalanced-learn

0.8.1

importlib-metadata

4.8.1

ipykernel

6.12.1

ipython

7.32.0

ipython-genutils

0.2.0

ipywidgets

7.7.0

isodate

0.6.1

itsdangerous

2.0.1

絕地武士

0.18.0

Jinja2

14

jmespath

0.10.0

joblib

1.0.1

joblibspark

0.5.0

jsonschema

3.2.0

jupyter-client

6.1.12

jupyter-core

4.8.1

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

keras

2.9.0

Keras-Preprocessing

1.1.2

kiwisolver

1.3.1

korean-lunar-calendar

0.3.1

langcodes

3.3.0

libclang

14.0.6

lightgbm

3.3.2

llvmlite

0.37.0

LunarCalendar

0.0.9

尖吻鯖鯊

1.2.0

減價

3.3.6

MarkupSafe

2.0.1

matplotlib

3.4.3

matplotlib-inline

0.1.2

missingno

0.5.1

使走調

0.8.4

mleap

0.20.0

mlflow-skinny

1.29.0

多重方法

1.9

murmurhash

1.0.8

mypy-extensions

0.4.3

nbclient

0.5.3

nbconvert

6.1.0

nbformat

5.1.3

nest-asyncio

1.5.1

networkx

2.6.3

nltk

3.6.5

筆記本

6.4.5

numba

0.54.1

numpy

1.20.3

oauthlib

3.2.0

opt-einsum

3.3.0

包裝

21.0

熊貓

1.3.4

pandas-profiling

3.1.0

pandocfilters

3

paramiko

2.9.2

parso

0.8.2

pathspec

0.9.0

表“感覺”

0.6.2

容易受騙的人

0.5.2

petastorm

0.11.4

pexpect

4.8.0

phik

0.12.2

pickleshare

0.7.5

枕頭

8.4.0

皮普

21.2.4

Beplay体育安卓版本platformdirs

2.5.2

情節

5.9.0

pmdarima

1.8.5

3.0.7

prompt-toolkit

3.0.20

先知

1.0.1

protobuf

3.19.4

psutil

5.8.0

psycopg2

2.9.3

ptyprocess

0.7.0

pyarrow

7.0.0

pyasn1

0.4.8

pyasn1-modules

0.2.8

pybind11

2.10.0

pycparser

2.20

pydantic

1.9.2

Pygments

2.10.0

PyGObject

3.36.0

PyJWT

2.5.0

PyMeeus

0.5.11

PyNaCl

1.5.0

pyodbc

4.0.31

pyparsing

3.0.4

pyrsistent

0.18.0

pystan

2.19.1.1

python-dateutil

2.8.2

python編輯器

1.0.4

pytz

2021.3

PyWavelets

1.1.1

PyYAML

6.0

pyzmq

22.2.1

正則表達式

2021.8.3

請求

2.26.0

requests-oauthlib

1.3.1

requests-unixsocket

0.2.0

rsa

4.9

s3transfer

0.5.2

scikit-learn

0.24.2

scipy

1.7.1上

seaborn

0.11.3

Send2Trash

1.8.0

setuptools

58.0.4

setuptools-git

1.2

世鵬科技電子

0.41.0

simplejson

3.17.6

六個

1.16.0

切片機

0.0.7

smart-open

5.2.1

smmap

5.0.0

寬大的

3.4.1

spacy-legacy

3.0.10

spacy-loggers

1.0.3

spark-tensorflow-distributor

1.0.0

sqlparse

0.4.2

srs

2.4.4

ssh-import-id

5.10

statsmodels

0.12.2

彙總

0.8.9

tangled-up-in-unicode

0.1.0

韌性

8.0.1

tensorboard

2.9.1

tensorboard-data-server

0.6.1

tensorboard-plugin-profile

2.8.0

tensorboard-plugin-wit

1.8.1

tensorflow

2.9.1

tensorflow-estimator

2.9.0

tensorflow-io-gcs-filesystem

0.27.0

termcolor

2.0.1

terminado

0.9.4

testpath

0.5.0

thinc

8.1.2

threadpoolctl

2.2.0

tokenize-rt

4.2.1

分詞器

0.12.1

tomli

2.0.1

火炬

1.12.1 + cu113

torchvision

0.13.1 + cu113

龍卷風

6.1

tqdm

4.62.3

traitlets

5.1.0

變形金剛

4.21.2

打字機

0.4.2

typing-extensions

3.10.0.2

ujson

4.0.2

unattended-upgrades

0.1

urllib3

1.26.7

virtualenv

20.8.0

願景

0.7.4

芥末醬

0.10.1

wcwidth

0.2.5

webencodings

0.5.1

websocket-client

1.3.1

Werkzeug

2.0.2

0.37.0

widgetsnbextension

3.6.0

打包

1.12.1

xgboost

1.6.2

氧化鋅碘仿糊

3.6.0

R庫

R庫與R庫在Databricks運行時11.3 LTS。

Java和Scala庫(Scala 2.12集群)

除了在Databricks Runtime 11.3 LTS中的Java和Scala庫之外,Databricks Runtime 11.3 LTS ML還包含以下jar:

CPU集群

組ID

工件ID

版本

com.typesafe.akka

akka-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

v0.20.0-db1

ml.dmlc

xgboost4j-spark_2.12

1.6.2

ml.dmlc

xgboost4j_2.12

1.6.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflow

mlflow-client

1.29.0

org.scala-lang.modules

scala-java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0

GPU集群

組ID

工件ID

版本

com.typesafe.akka

akka-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

v0.20.0-db1

ml.dmlc

xgboost4j-gpu_2.12

1.6.2

ml.dmlc

xgboost4j-spark-gpu_2.12

1.6.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflow

mlflow-client

1.29.0

org.scala-lang.modules

scala-java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0