磚的運行時13.3 LTS機器學習(β)

磚的運行時13.3 LTS機器學習提供了一個準備好了環境科學基於機器學習和數據磚運行時13.3 LTS(β)。磚運行時毫升含有許多流行的機器學習庫,包括TensorFlow PyTorch, XGBoost。磚運行時毫升包括AutoML,一個工具來自動訓練機器學習管道。磚運行時毫升也支持使用Horovod分布深度學習培訓。

更多信息,包括指令創建磚集群運行時毫升、明白了介紹磚運行時機器學習。

新特性和改進

磚運行時13.3 LTS毫升是磚運行時的13.3 LTS之上。在磚有什麼新信息運行時13.3 LTS,包括Apache火花MLlib和SparkR,看到磚運行時13.3 LTS(β)發行說明。

改變磚特色商店

  • 磚運行時存儲客戶端v0.14.0 13.3 LTS毫升包含特性。與客戶端版本0.14.0以上,您必須指定時間戳的鍵列primary_keys論點。時間戳鍵的一部分“主鍵”,唯一地標識表中的每一行功能。

  • 您現在可以排除特征值和時間戳在指定的時間從訓練集。設置時間限製的曆史特性值。

係統環境

磚的係統環境運行時13.3 LTS毫升不同於磚運行時13.3 LTS如下:

磚運行時13.3 LTS毫升包括XGBoost 1.7.3,不支持GPU集群計算能力5.2甚至更低。

庫

下麵列表中包含的庫磚運行時13.3 LTS毫升,不同於那些包含在運行時13.3 LTS磚。

Python庫

磚運行時13.3 LTS毫升使用Virtualenv Python包管理,包括許多流行毫升包。

除了指定的包在下麵幾節中,磚運行時13.3 LTS毫升還包括以下方案:

  • hyperopt 0.2.7 + db4

  • sparkdl 3.0.0_db1

  • automl 1.20.0

複製的磚在本地Python運行時毫升Python環境的虛擬環境,下載requirements-13.3.txt文件和運行皮普安裝- rrequirements-13.3.txt。這個命令安裝所有的磚運行時毫升使用開源庫,但沒有安裝庫由磚等databricks-automl,databricks-feature-store,或磚叉hyperopt。

Python庫對CPU集群

圖書館

版本

圖書館

版本

圖書館

版本

absl-py

1.0.0

加速

0.20.3

aiohttp

3.8.5

aiosignal

1.3.1

anyio

3.5.0

appdirs

1.4.4

argon2-cffi

21.3.0

argon2-cffi-bindings

21.2.0

阿斯特

0.8.1

asttokens

2.2.1

astunparse

1.6.3

async-timeout

4.0.2

attrs

21.4.0

audioread

3.0.0

azure-core

1.28.0

azure-cosmos

4.3.1

azure-storage-blob

12.17.0

azure-storage-file-datalake

12.12.0

backcall

0.2.0

bcrypt

3.2.0

beautifulsoup4

4.11.1

黑色的

22.6.0

漂白劑

4.1.0

信號燈

1.4

bli

0.7.10

boto3

1.24.28

botocore

1.27.28

cachetools

4.2.4

目錄

2.0.9

category-encoders

2.6.1

certifi

2022.9.14

cffi

1.15.1

chardet

4.0.0

charset-normalizer

2.0.4

點擊

8.0.4

cloudpickle

2.0.0

cmdstanpy

1.1.0

糖果

0.1.0

configparser

5.2.0

convertdate

測試盒框

密碼學

37.0.1

周期計

0.11.0

cymem

2.0.7

Cython

0.29.32

英安岩

1.8.1

databricks-automl-runtime

0.2.17

databricks-cli

0.17.7

databricks-feature-store

0.14.0

databricks-sdk

0.1.6

dataclasses-json

0.5.13

數據集

2.13.1

dbl-tempo

0.1.23

dbus-python

1.2.18

debugpy

1.6.0

裝飾

5.1.1

defusedxml

是0.7.1

蒔蘿

0.3.4

diskcache

5.6.1

distlib

0.3.7

docstring-to-markdown

0.12

entrypoints

0.4

ephem

4.1.4

評估

0.4.0

執行

1.2.0

facets-overview

1.0.3

fastapi

0.98.0

fastjsonschema

2.18.0

fasttext

0.9.2

filelock

3.6.0

瓶

1.1.2 + db1

flatbuffers

23.5.26

fonttools

4.25.0

frozenlist

1.4.0

fsspec

2022.7.1

未來

0.18.2

使驚訝

0.4.0

gitdb

4.0.10

GitPython

3.1.27

google-api-core

2.8.2

google-auth

1.33.0

google-auth-oauthlib

0.4.6

google-cloud-core

2.3.3

google-cloud-storage

2.10.0

google-crc32c

1.5.0

google-pasta

0.2.0

google-resumable-media

2.5.0

googleapis-common-protos

1.56.4

一種綠色小鳥

1.1.1

grpcio

1.48.1

grpcio-status

1.48.1

gunicorn

20.1.0

gviz-api

1.10.0

h11

0.14.0

h5py

3.7.0

假期

0.27.1

horovod

0.28.1

htmlmin

0.1.12

httplib2

0.20.2

httptools

0.6.0

huggingface-hub

0.16.4

idna

3.3

ImageHash

4.3.1

imbalanced-learn

0.10.1

importlib-metadata

4.11.3

importlib-resources

0

ipykernel

6.17.1

ipython

8.10.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

isodate

0.6.1

itsdangerous

2.0.1

絕地武士

0.18.1

吉普車

是0.7.1

Jinja2

14

jmespath

0.10.0

joblib

1.2.0

joblibspark

0.5.1

jsonschema

4.16.0

jupyter-client

7.3.4

jupyter_core

4.11.2

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

keras

2.11.0

密匙環

23.5.0

kiwisolver

1.4.2

langchain

0.0.217

langchainplus-sdk

0.0.20

langcodes

3.3.0

launchpadlib

1.10.16

lazr.restfulclient

0.14.4

lazr.uri

1.0.6

lazy_loader

0.3

libclang

15.0.6.1

librosa

0.10.0

lightgbm

3.3.5

llvmlite

0.38.0

LunarCalendar

0.0.9

尖吻鯖鯊

1.2.0

減價

3.3.4

MarkupSafe

2.0.1

棉花糖

3.20.1

matplotlib

3.5.2

matplotlib-inline

0.1.6

麥凱布

0.7.0

使走調

0.8.4

mleap

0.20.0

mlflow-skinny

2.5.0

more-itertools

8.10.0

msgpack

1.0.5

multidict

6.0.4

多重方法

1.9.1

多進程

0.70.12.2

murmurhash

1.0.9

mypy-extensions

0.4.3

nbclient

0.5.13

nbconvert

6.4.4

nbformat

發送的

nest-asyncio

1.5.5

networkx

2.8.4

忍者

1.11.1

nltk

3.7

nodeenv

1.8.0

筆記本

6.4.12

numba

0.55.1

numexpr

2.8.4

numpy

1.21.5

oauthlib

3.2.0

openai

0.27.8

openapi-schema-pydantic

1.2.4

opt-einsum

3.3.0

包裝

21.3

熊貓

1.4.4

pandocfilters

1.5.0

paramiko

2.9.2

parso

0.8.3

pathspec

0.9.0

表“感覺”

0.10.2

容易受騙的人

0.5.2

petastorm

0.12.1

pexpect

4.8.0

phik

0.12.3

pickleshare

0.7.5

枕頭

9.2.0

皮普

22.2.2

Beplay体育安卓版本platformdirs

2.5.2

情節

5.9.0

pluggy

1.0.0

pmdarima

2.0.3

狗

1.7.0

棒

3.0.8

prometheus-client

0.14.1

prompt-toolkit

3.0.36

先知

1.1.4

protobuf

3.19.4

psutil

5.9.0

psycopg2

2.9.3

ptyprocess

0.7.0

pure-eval

0.2.2

pyarrow

8.0.0

pyasn1

0.4.8

pyasn1-modules

0.2.8

pybind11

2.11.1

pycparser

2.21

pydantic

1.10.6

pyflakes

3.0.1

Pygments

2.11.2

PyGObject

3.42.1

PyJWT

tripwire

PyMeeus

0.5.12

PyNaCl

1.5.0

pyodbc

4.0.32

pyparsing

3.0.9

pyright

1.1.294

pyrsistent

0.18.0

pytesseract

0.3.10

python-dateutil

2.8.2

python-dotenv

1.0.0

python編輯器

1.0.4

python-lsp-jsonrpc

1.0.0

python-lsp-server

1.7.1上

pytoolconfig

1.2.2

pytz

2022.1

PyWavelets

1.3.0

PyYAML

6.0

pyzmq

23.2.0

正則表達式

2022.7.9

請求

2.28.1

requests-oauthlib

1.3.1

反應

0.18.0

繩子

1.7.0

rsa

4.9

s3transfer

0.6.0

safetensors

0.3.1

scikit-learn

1.1.1

scipy

1.9.1

seaborn

0.11.2

SecretStorage

3.3.1

Send2Trash

1.8.0

sentence-transformers

2.2.2

sentencepiece

0.1.99

setuptools

63.4.1

世鵬科技電子

0.41.0

simplejson

3.17.6

六個

1.16.0

切片機

0.0.7

smart-open

5.2.1

smmap

5.0.0

sniffio

1.2.0

soundfile

0.12.1

soupsieve

2.3.1

soxr

0.3.5

寬大的

3.5.3

spacy-legacy

3.0.12

spacy-loggers

1.0.4

spark-tensorflow-distributor

1.0.0

SQLAlchemy

1.4.39

sqlparse

0.4.2

srs

2.4.7

ssh-import-id

5.11

堆棧數據

0.6.2

starlette

0.27.0

statsmodels

0.13.2

彙總

0.8.10

tangled-up-in-unicode

0.2.0

韌性

8.1.0

tensorboard

2.11.0

tensorboard-data-server

0.6.1

tensorboard-plugin-profile

2.11.2

tensorboard-plugin-wit

1.8.1

tensorflow-cpu

2.11.1

tensorflow-estimator

2.11.0

tensorflow-io-gcs-filesystem

0.32.0

termcolor

tripwire

terminado

0.13.1

testpath

0.6.0

thinc

8.1.10

threadpoolctl

2.2.0

tiktoken

0.4.0

tokenize-rt

4.2.1

分詞器

0.13.3

tomli

2.0.1

火炬

1.13.1 + cpu

torchvision

0.14.1 + cpu

龍卷風

6.1

tqdm

4.64.1

traitlets

5.1.1

變形金剛

4.30.2

typeguard

2.13.3

打字機

0.7.0

typing-inspect

0.9.0

typing_extensions

4.3.0

ujson

5.4.0

unattended-upgrades

0.1

urllib3

1.26.11

uvicorn

0.23.1

uvloop

0.17.0

virtualenv

20.16.3

願景

0.7.5

wadllib

1.3.6

芥末醬

1.1.2

watchfiles

0.19.0

wcwidth

0.2.5

webencodings

0.5.1

websocket-client

0.58.0

尚

11.0.3

Werkzeug

2.0.3

whatthepatch

1.0.2中

輪

0.37.1

widgetsnbextension

3.6.1

wordcloud

1.9.2

打包

1.14.1

xgboost

1.7.6

xxhash

3.2.0

yapf

0.31.0

yarl

1.9.2

ydata-profiling

4.2.0

氧化鋅碘仿糊

3.8.0

Python庫在GPU集群

圖書館

版本

圖書館

版本

圖書館

版本

absl-py

1.0.0

加速

0.20.3

aiohttp

3.8.5

aiosignal

1.3.1

anyio

3.5.0

appdirs

1.4.4

argon2-cffi

21.3.0

argon2-cffi-bindings

21.2.0

阿斯特

0.8.1

asttokens

2.2.1

astunparse

1.6.3

async-timeout

4.0.2

attrs

21.4.0

audioread

3.0.0

azure-core

1.28.0

azure-cosmos

4.3.1

azure-storage-blob

12.17.0

azure-storage-file-datalake

12.12.0

backcall

0.2.0

bcrypt

3.2.0

beautifulsoup4

4.11.1

黑色的

22.6.0

漂白劑

4.1.0

信號燈

1.4

bli

0.7.10

boto3

1.24.28

botocore

1.27.28

cachetools

4.2.4

目錄

2.0.9

category-encoders

2.6.1

certifi

2022.9.14

cffi

1.15.1

chardet

4.0.0

charset-normalizer

2.0.4

點擊

8.0.4

cloudpickle

2.0.0

cmdstanpy

1.1.0

糖果

0.1.0

configparser

5.2.0

convertdate

測試盒框

密碼學

37.0.1

周期計

0.11.0

cymem

2.0.7

Cython

0.29.32

英安岩

1.8.1

databricks-automl-runtime

0.2.17

databricks-cli

0.17.7

databricks-feature-store

0.14.0

databricks-sdk

0.1.6

dataclasses-json

0.5.13

數據集

2.13.1

dbl-tempo

0.1.23

dbus-python

1.2.18

debugpy

1.6.0

裝飾

5.1.1

defusedxml

是0.7.1

蒔蘿

0.3.4

diskcache

5.6.1

distlib

0.3.7

docstring-to-markdown

0.12

einops

0.6.1

entrypoints

0.4

ephem

4.1.4

評估

0.4.0

執行

1.2.0

facets-overview

1.0.3

fastapi

0.98.0

fastjsonschema

2.18.0

fasttext

0.9.2

filelock

3.6.0

flash-attn

1.0.7

瓶

1.1.2 + db1

flatbuffers

23.5.26

fonttools

4.25.0

frozenlist

1.4.0

fsspec

2022.7.1

未來

0.18.2

使驚訝

0.4.0

gitdb

4.0.10

GitPython

3.1.27

google-api-core

2.8.2

google-auth

1.33.0

google-auth-oauthlib

0.4.6

google-cloud-core

2.3.3

google-cloud-storage

2.10.0

google-crc32c

1.5.0

google-pasta

0.2.0

google-resumable-media

2.5.0

googleapis-common-protos

1.56.4

一種綠色小鳥

1.1.1

grpcio

1.48.1

grpcio-status

1.48.1

gunicorn

20.1.0

gviz-api

1.10.0

h11

0.14.0

h5py

3.7.0

假期

0.27.1

horovod

0.28.1

htmlmin

0.1.12

httplib2

0.20.2

httptools

0.6.0

huggingface-hub

0.16.4

idna

3.3

ImageHash

4.3.1

imbalanced-learn

0.10.1

importlib-metadata

4.11.3

importlib-resources

0

ipykernel

6.17.1

ipython

8.10.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

isodate

0.6.1

itsdangerous

2.0.1

絕地武士

0.18.1

吉普車

是0.7.1

Jinja2

14

jmespath

0.10.0

joblib

1.2.0

joblibspark

0.5.1

jsonschema

4.16.0

jupyter-client

7.3.4

jupyter_core

4.11.2

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

keras

2.11.0

密匙環

23.5.0

kiwisolver

1.4.2

langchain

0.0.217

langchainplus-sdk

0.0.20

langcodes

3.3.0

launchpadlib

1.10.16

lazr.restfulclient

0.14.4

lazr.uri

1.0.6

lazy_loader

0.3

libclang

15.0.6.1

librosa

0.10.0

lightgbm

3.3.5

llvmlite

0.38.0

LunarCalendar

0.0.9

尖吻鯖鯊

1.2.0

減價

3.3.4

MarkupSafe

2.0.1

棉花糖

3.20.1

matplotlib

3.5.2

matplotlib-inline

0.1.6

麥凱布

0.7.0

使走調

0.8.4

mleap

0.20.0

mlflow-skinny

2.5.0

more-itertools

8.10.0

msgpack

1.0.5

multidict

6.0.4

多重方法

1.9.1

多進程

0.70.12.2

murmurhash

1.0.9

mypy-extensions

0.4.3

nbclient

0.5.13

nbconvert

6.4.4

nbformat

發送的

nest-asyncio

1.5.5

networkx

2.8.4

忍者

1.11.1

nltk

3.7

nodeenv

1.8.0

筆記本

6.4.12

numba

0.55.1

numexpr

2.8.4

numpy

1.21.5

oauthlib

3.2.0

openai

0.27.8

openapi-schema-pydantic

1.2.4

opt-einsum

3.3.0

包裝

21.3

熊貓

1.4.4

pandocfilters

1.5.0

paramiko

2.9.2

parso

0.8.3

pathspec

0.9.0

表“感覺”

0.10.2

容易受騙的人

0.5.2

petastorm

0.12.1

pexpect

4.8.0

phik

0.12.3

pickleshare

0.7.5

枕頭

9.2.0

皮普

22.2.2

Beplay体育安卓版本platformdirs

2.5.2

情節

5.9.0

pluggy

1.0.0

pmdarima

2.0.3

狗

1.7.0

棒

3.0.8

prompt-toolkit

3.0.36

先知

1.1.4

protobuf

3.19.4

psutil

5.9.0

psycopg2

2.9.3

ptyprocess

0.7.0

pure-eval

0.2.2

pyarrow

8.0.0

pyasn1

0.4.8

pyasn1-modules

0.2.8

pybind11

2.11.1

pycparser

2.21

pydantic

1.10.6

pyflakes

3.0.1

Pygments

2.11.2

PyGObject

3.42.1

PyJWT

tripwire

PyMeeus

0.5.12

PyNaCl

1.5.0

pyodbc

4.0.32

pyparsing

3.0.9

pyright

1.1.294

pyrsistent

0.18.0

pytesseract

0.3.10

python-dateutil

2.8.2

python-dotenv

1.0.0

python編輯器

1.0.4

python-lsp-jsonrpc

1.0.0

python-lsp-server

1.7.1上

pytoolconfig

1.2.2

pytz

2022.1

PyWavelets

1.3.0

PyYAML

6.0

pyzmq

23.2.0

正則表達式

2022.7.9

請求

2.28.1

requests-oauthlib

1.3.1

反應

0.18.0

繩子

1.7.0

rsa

4.9

s3transfer

0.6.0

safetensors

0.3.1

scikit-learn

1.1.1

scipy

1.9.1

seaborn

0.11.2

SecretStorage

3.3.1

Send2Trash

1.8.0

sentence-transformers

2.2.2

sentencepiece

0.1.99

setuptools

63.4.1

世鵬科技電子

0.41.0

simplejson

3.17.6

六個

1.16.0

切片機

0.0.7

smart-open

5.2.1

smmap

5.0.0

sniffio

1.2.0

soundfile

0.12.1

soupsieve

2.3.1

soxr

0.3.5

寬大的

3.5.3

spacy-legacy

3.0.12

spacy-loggers

1.0.4

spark-tensorflow-distributor

1.0.0

SQLAlchemy

1.4.39

sqlparse

0.4.2

srs

2.4.7

ssh-import-id

5.11

堆棧數據

0.6.2

starlette

0.27.0

statsmodels

0.13.2

彙總

0.8.10

tangled-up-in-unicode

0.2.0

韌性

8.1.0

tensorboard

2.11.0

tensorboard-data-server

0.6.1

tensorboard-plugin-profile

2.11.2

tensorboard-plugin-wit

1.8.1

tensorflow

2.11.1

tensorflow-estimator

2.11.0

tensorflow-io-gcs-filesystem

0.32.0

termcolor

tripwire

terminado

0.13.1

testpath

0.6.0

thinc

8.1.10

threadpoolctl

2.2.0

tiktoken

0.4.0

tokenize-rt

4.2.1

分詞器

0.13.3

tomli

2.0.1

火炬

1.13.1 + cu117

torchvision

0.14.1 + cu117

龍卷風

6.1

tqdm

4.64.1

traitlets

5.1.1

變形金剛

4.30.2

typeguard

2.13.3

打字機

0.7.0

typing-inspect

0.9.0

typing_extensions

4.3.0

ujson

5.4.0

unattended-upgrades

0.1

urllib3

1.26.11

uvicorn

0.23.1

uvloop

0.17.0

virtualenv

20.16.3

願景

0.7.5

wadllib

1.3.6

芥末醬

1.1.2

watchfiles

0.19.0

wcwidth

0.2.5

webencodings

0.5.1

websocket-client

0.58.0

尚

11.0.3

Werkzeug

2.0.3

whatthepatch

1.0.2中

輪

0.37.1

widgetsnbextension

3.6.1

wordcloud

1.9.2

打包

1.14.1

xgboost

1.7.6

xxhash

3.2.0

yapf

0.31.0

yarl

1.9.2

ydata-profiling

4.2.0

氧化鋅碘仿糊

3.8.0

R庫

R庫的完全相同R庫在運行時13.3 LTS磚。

Java和Scala庫(Scala 2.12集群)

除了Java和Scala庫磚運行時13.3 LTS,磚運行時13.3 LTS毫升包含以下jar:

CPU集群

組ID

工件ID

版本

com.typesafe.akka

akka-actor_2.12

2.5.23

ml.dmlc

xgboost4j-spark_2.12

1.7.3

ml.dmlc

xgboost4j_2.12

1.7.3

org.graphframes

graphframes_2.12

0.8.2-db2-spark3.4

org.mlflow

mlflow-client

2.5.0

org.scala-lang.modules

scala-java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0

GPU集群

組ID

工件ID

版本

com.typesafe.akka

akka-actor_2.12

2.5.23

ml.dmlc

xgboost4j-gpu_2.12

1.7.3

ml.dmlc

xgboost4j-spark-gpu_2.12

1.7.3

org.graphframes

graphframes_2.12

0.8.2-db2-spark3.4

org.mlflow

mlflow-client

2.5.0

org.scala-lang.modules

scala-java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0