磚11.2運行時機器學習
磚11.2運行時機器學習為機器學習和數據提供了一個準備好了環境科學的基礎上磚運行時的11.2(不支持)。磚運行時毫升含有許多流行的機器學習庫,包括TensorFlow PyTorch, XGBoost。磚運行時毫升包括AutoML,一個工具來自動訓練機器學習管道。磚運行時毫升也支持使用Horovod分布深度學習培訓。
更多信息,包括指令創建磚集群運行時毫升、明白了介紹磚運行時機器學習。
新特性和改進
磚磚的運行時11.2毫升之上11.2運行時。有什麼新信息的磚11.2運行時,包括Apache火花MLlib和SparkR,看到磚運行時的11.2(不支持)發行說明。
增強磚AutoML
磚AutoML現在有更好的支持不平衡數據集的分類問題。詳情見不平衡數據集對分類問題的支持。
增強磚特色商店
以下已經增強磚特性的商店。
在線商店,用戶和密碼字段已被棄用。DynamoDB在線商店,
access_key_id
,secret_access_key
,session_token
都被棄用。為了避免未來的不兼容性,改變使用這些字段的一切write_secret_prefix
。
所有文檔和輸出特性存儲客戶端現在指的是客戶端版本(例如,0.6.1)而不是磚運行時的ML版本(如11.2)。
係統環境
磚的係統環境運行時11.2毫升不同於磚運行時的11.2如下:
DBUtils運行時毫升不包括:磚庫工具(dbutils.library)。使用
%皮普
而不是命令。看到Notebook-scoped Python庫。GPU集群,磚包括以下運行時毫升NVIDIA GPU的庫:
CUDA 11.3
cuDNN 8.0.5.39
NCCL 2.9.9
TensorRT 7.2.2
庫
下麵的章節列表庫包含在磚運行時的11.2毫升,不同於那些包含在磚11.2運行時。
Python庫
磚運行時11.2毫升使用Virtualenv Python包管理,包括許多流行毫升包。
除了包中指定在下麵幾節中,磚運行時11.2毫升的還包括以下方案:
hyperopt 0.2.7.db1
sparkdl 2.2.0_db6
feature_store 0.6.0
automl 1.12.3
Python庫對CPU集群
複製的磚在本地Python運行時毫升Python環境的虛擬環境,下載requirements-11.2.txt文件和運行皮普安裝- rrequirements-11.2.txt
。這個命令安裝所有的磚運行時毫升使用開源庫,但沒有安裝磚開發庫,等databricks-automl
,databricks-feature-store
,或磚叉hyperopt
。
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
---|---|---|---|---|---|
absl-py |
1.0.0 |
Antergos Linux |
2015.10 (ISO-Rolling) |
argon2-cffi |
20.1.0 |
阿斯特 |
0.8.1 |
astunparse |
1.6.3 |
async-generator |
1.10 |
attrs |
21.2.0 |
azure-core |
1.22.1 |
azure-cosmos |
4.2.0 |
backcall |
0.2.0 |
backports.entry-points-selectable |
1.1.1 |
bcrypt |
3.2.2 |
黑色的 |
22.3.0 |
漂白劑 |
4.0.0 |
bli |
0.7.8 |
boto3 |
1.21.18 |
botocore |
1.24.18 |
cachetools |
5.2.0 |
目錄 |
2.0.8 |
certifi |
2021.10.8 |
cffi |
1.14.6 |
chardet |
4.0.0 |
charset-normalizer |
2.0.4 |
點擊 |
8.0.3 |
cloudpickle |
2.0.0 |
cmdstanpy |
0.9.68 |
configparser |
5.2.0 |
convertdate |
測試盒框 |
密碼學 |
3.4.8 |
周期計 |
0.10.0 |
cymem |
2.0.6 |
Cython |
0.29.24 |
databricks-automl-runtime |
0.2.10 |
databricks-cli |
0.17.0 |
dbl-tempo |
0.1.12 |
dbus-python |
1.2.16 |
debugpy |
1.4.1 |
裝飾 |
5.1.0 |
defusedxml |
是0.7.1 |
蒔蘿 |
0.3.4 |
diskcache |
5.4.0 |
distlib |
0.3.5 |
distro-info |
0.23 ubuntu1 |
entrypoints |
0.3 |
ephem |
4.1.3 |
facets-overview |
1.0.0 |
fasttext |
0.9.2 |
filelock |
3.3.1 |
瓶 |
1.1.2 |
flatbuffers |
1.12 |
fsspec |
2021.8.1 |
未來 |
0.18.2 |
使驚訝 |
0.4.0 |
gitdb |
4.0.9 |
GitPython |
3.1.27 |
google-auth |
2.6.0 |
google-auth-oauthlib |
0.4.6 |
google-pasta |
0.2.0 |
grpcio |
1.44.0 |
gunicorn |
20.1.0 |
gviz-api |
1.10.0 |
h5py |
3.3.0 |
hijri-converter |
2.2.4 |
假期 |
0.14.2 |
horovod |
0.25.0 |
htmlmin |
0.1.12 |
huggingface-hub |
0.8.1 |
idna |
3.2 |
ImageHash |
4.2.1 |
imbalanced-learn |
0.8.1 |
importlib-metadata |
4.8.1 |
ipykernel |
6.12.1 |
ipython |
7.32.0 |
ipython-genutils |
0.2.0 |
ipywidgets |
7.7.0 |
isodate |
0.6.1 |
itsdangerous |
2.0.1 |
絕地武士 |
0.18.0 |
Jinja2 |
14 |
jmespath |
0.10.0 |
joblib |
1.0.1 |
joblibspark |
0.5.0 |
jsonschema |
3.2.0 |
jupyter-client |
6.1.12 |
jupyter-core |
4.8.1 |
jupyterlab-pygments |
0.1.2 |
jupyterlab-widgets |
1.0.0 |
keras |
2.9.0 |
Keras-Preprocessing |
1.1.2 |
kiwisolver |
1.3.1 |
korean-lunar-calendar |
0.2.1 |
langcodes |
3.3.0 |
libclang |
14.0.6 |
lightgbm |
3.3.2 |
llvmlite |
0.37.0 |
LunarCalendar |
0.0.9 |
尖吻鯖鯊 |
1.2.0 |
減價 |
3.3.6 |
MarkupSafe |
2.0.1 |
matplotlib |
3.4.3 |
matplotlib-inline |
0.1.2 |
missingno |
0.5.1 |
使走調 |
0.8.4 |
mleap |
0.20.0 |
mlflow-skinny |
1.28.0 |
多重方法 |
1.8 |
murmurhash |
1.0.8 |
mypy-extensions |
0.4.3 |
nbclient |
0.5.3 |
nbconvert |
6.1.0 |
nbformat |
5.1.3 |
nest-asyncio |
1.5.1 |
networkx |
2.6.3 |
nltk |
3.6.5 |
筆記本 |
6.4.5 |
numba |
0.54.1 |
numpy |
1.20.3 |
oauthlib |
3.2.0 |
opt-einsum |
3.3.0 |
包裝 |
21.0 |
熊貓 |
1.3.4 |
pandas-profiling |
3.1.0 |
pandocfilters |
3 |
paramiko |
2.9.2 |
parso |
0.8.2 |
pathspec |
0.9.0 |
表“感覺” |
0.6.2 |
容易受騙的人 |
0.5.2 |
petastorm |
0.11.4 |
pexpect |
4.8.0 |
phik |
0.12.2 |
pickleshare |
0.7.5 |
枕頭 |
8.4.0 |
皮普 |
21.2.4 |
Beplay体育安卓版本platformdirs |
2.5.2 |
情節 |
5.9.0 |
pmdarima |
1.8.5 |
棒 |
3.0.7 |
prometheus-client |
0.11.0 |
prompt-toolkit |
3.0.20 |
先知 |
1.0.1 |
protobuf |
3.19.4 |
psutil |
5.8.0 |
psycopg2 |
2.9.3 |
ptyprocess |
0.7.0 |
pyarrow |
7.0.0 |
pyasn1 |
0.4.8 |
pyasn1-modules |
0.2.8 |
pybind11 |
2.10.0 |
pycparser |
2.20 |
pydantic |
1.9.2 |
Pygments |
2.10.0 |
PyGObject |
3.36.0 |
PyJWT |
測試盒框 |
PyMeeus |
0.5.11 |
PyNaCl |
1.5.0 |
pyodbc |
4.0.31 |
pyparsing |
3.0.4 |
pyrsistent |
0.18.0 |
pystan |
2.19.1.1 |
python-apt |
2.0.0 + ubuntu0.20.4.7 |
python-dateutil |
2.8.2 |
python編輯器 |
1.0.4 |
pytz |
2021.3 |
PyWavelets |
1.1.1 |
PyYAML |
6.0 |
pyzmq |
22.2.1 |
正則表達式 |
2021.8.3 |
請求 |
2.26.0 |
requests-oauthlib |
1.3.1 |
requests-unixsocket |
0.2.0 |
rsa |
4.9 |
s3transfer |
0.5.2 |
scikit-learn |
0.24.2 |
scipy |
1.7.1上 |
seaborn |
0.11.2 |
Send2Trash |
1.8.0 |
setuptools |
58.0.4 |
setuptools-git |
1.2 |
世鵬科技電子 |
0.41.0 |
simplejson |
3.17.6 |
六個 |
1.16.0 |
切片機 |
0.0.7 |
smart-open |
5.2.1 |
smmap |
5.0.0 |
寬大的 |
3.4.0 |
spacy-legacy |
3.0.9 |
spacy-loggers |
1.0.3 |
spark-tensorflow-distributor |
1.0.0 |
sqlparse |
0.4.2 |
srs |
2.4.4 |
ssh-import-id |
5.10 |
statsmodels |
0.12.2 |
彙總 |
0.8.9 |
tangled-up-in-unicode |
0.1.0 |
韌性 |
8.0.1 |
tensorboard |
2.9.1 |
tensorboard-data-server |
0.6.1 |
tensorboard-plugin-profile |
2.8.0 |
tensorboard-plugin-wit |
1.8.1 |
tensorflow-cpu |
2.9.1 |
tensorflow-estimator |
2.9.0 |
tensorflow-io-gcs-filesystem |
0.26.0 |
termcolor |
1.1.0 |
terminado |
0.9.4 |
testpath |
0.5.0 |
thinc |
8.1.0 |
threadpoolctl |
2.2.0 |
tokenize-rt |
4.2.1 |
分詞器 |
0.12.1 |
tomli |
2.0.1 |
火炬 |
1.11.0 + cpu |
torchvision |
0.12.0 + cpu |
龍卷風 |
6.1 |
tqdm |
4.62.3 |
traitlets |
5.1.0 |
變形金剛 |
4.20.1 |
打字機 |
0.4.2 |
typing-extensions |
3.10.0.2 |
ujson |
4.0.2 |
unattended-upgrades |
0.1 |
urllib3 |
1.26.7 |
virtualenv |
20.8.0 |
願景 |
0.7.4 |
芥末醬 |
0.10.1 |
wcwidth |
0.2.5 |
webencodings |
0.5.1 |
websocket-client |
1.3.1 |
Werkzeug |
2.0.2 |
輪 |
0.37.0 |
widgetsnbextension |
3.6.0 |
打包 |
1.12.1 |
xgboost |
1.5.2 |
氧化鋅碘仿糊 |
3.6.0 |
Python庫在GPU集群
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
---|---|---|---|---|---|
absl-py |
1.0.0 |
Antergos Linux |
2015.10 (ISO-Rolling) |
argon2-cffi |
20.1.0 |
阿斯特 |
0.8.1 |
astunparse |
1.6.3 |
async-generator |
1.10 |
attrs |
21.2.0 |
azure-core |
1.22.1 |
azure-cosmos |
4.2.0 |
backcall |
0.2.0 |
backports.entry-points-selectable |
1.1.1 |
bcrypt |
3.2.2 |
黑色的 |
22.3.0 |
漂白劑 |
4.0.0 |
bli |
0.7.8 |
boto3 |
1.21.18 |
botocore |
1.24.18 |
cachetools |
5.2.0 |
目錄 |
2.0.8 |
certifi |
2021.10.8 |
cffi |
1.14.6 |
chardet |
4.0.0 |
charset-normalizer |
2.0.4 |
點擊 |
8.0.3 |
cloudpickle |
2.0.0 |
cmdstanpy |
0.9.68 |
configparser |
5.2.0 |
convertdate |
測試盒框 |
密碼學 |
3.4.8 |
周期計 |
0.10.0 |
cymem |
2.0.6 |
Cython |
0.29.24 |
databricks-automl-runtime |
0.2.10 |
databricks-cli |
0.17.0 |
dbl-tempo |
0.1.12 |
dbus-python |
1.2.16 |
debugpy |
1.4.1 |
裝飾 |
5.1.0 |
defusedxml |
是0.7.1 |
蒔蘿 |
0.3.4 |
diskcache |
5.4.0 |
distlib |
0.3.5 |
distro-info |
0.23 ubuntu1 |
entrypoints |
0.3 |
ephem |
4.1.3 |
facets-overview |
1.0.0 |
fasttext |
0.9.2 |
filelock |
3.3.1 |
瓶 |
1.1.2 |
flatbuffers |
1.12 |
fsspec |
2021.8.1 |
未來 |
0.18.2 |
使驚訝 |
0.4.0 |
gitdb |
4.0.9 |
GitPython |
3.1.27 |
google-auth |
2.6.0 |
google-auth-oauthlib |
0.4.6 |
google-pasta |
0.2.0 |
grpcio |
1.44.0 |
gunicorn |
20.1.0 |
gviz-api |
1.10.0 |
h5py |
3.3.0 |
hijri-converter |
2.2.4 |
假期 |
0.14.2 |
horovod |
0.25.0 |
htmlmin |
0.1.12 |
huggingface-hub |
0.8.1 |
idna |
3.2 |
ImageHash |
4.2.1 |
imbalanced-learn |
0.8.1 |
importlib-metadata |
4.8.1 |
ipykernel |
6.12.1 |
ipython |
7.32.0 |
ipython-genutils |
0.2.0 |
ipywidgets |
7.7.0 |
isodate |
0.6.1 |
itsdangerous |
2.0.1 |
絕地武士 |
0.18.0 |
Jinja2 |
14 |
jmespath |
0.10.0 |
joblib |
1.0.1 |
joblibspark |
0.5.0 |
jsonschema |
3.2.0 |
jupyter-client |
6.1.12 |
jupyter-core |
4.8.1 |
jupyterlab-pygments |
0.1.2 |
jupyterlab-widgets |
1.0.0 |
keras |
2.9.0 |
Keras-Preprocessing |
1.1.2 |
kiwisolver |
1.3.1 |
korean-lunar-calendar |
0.2.1 |
langcodes |
3.3.0 |
libclang |
14.0.6 |
lightgbm |
3.3.2 |
llvmlite |
0.37.0 |
LunarCalendar |
0.0.9 |
尖吻鯖鯊 |
1.2.0 |
減價 |
3.3.6 |
MarkupSafe |
2.0.1 |
matplotlib |
3.4.3 |
matplotlib-inline |
0.1.2 |
missingno |
0.5.1 |
使走調 |
0.8.4 |
mleap |
0.20.0 |
mlflow-skinny |
1.28.0 |
多重方法 |
1.8 |
murmurhash |
1.0.8 |
mypy-extensions |
0.4.3 |
nbclient |
0.5.3 |
nbconvert |
6.1.0 |
nbformat |
5.1.3 |
nest-asyncio |
1.5.1 |
networkx |
2.6.3 |
nltk |
3.6.5 |
筆記本 |
6.4.5 |
numba |
0.54.1 |
numpy |
1.20.3 |
oauthlib |
3.2.0 |
opt-einsum |
3.3.0 |
包裝 |
21.0 |
熊貓 |
1.3.4 |
pandas-profiling |
3.1.0 |
pandocfilters |
3 |
paramiko |
2.9.2 |
parso |
0.8.2 |
pathspec |
0.9.0 |
表“感覺” |
0.6.2 |
容易受騙的人 |
0.5.2 |
petastorm |
0.11.4 |
pexpect |
4.8.0 |
phik |
0.12.2 |
pickleshare |
0.7.5 |
枕頭 |
8.4.0 |
皮普 |
21.2.4 |
Beplay体育安卓版本platformdirs |
2.5.2 |
情節 |
5.9.0 |
pmdarima |
1.8.5 |
棒 |
3.0.7 |
prompt-toolkit |
3.0.20 |
先知 |
1.0.1 |
protobuf |
3.19.4 |
psutil |
5.8.0 |
psycopg2 |
2.9.3 |
ptyprocess |
0.7.0 |
pyarrow |
7.0.0 |
pyasn1 |
0.4.8 |
pyasn1-modules |
0.2.8 |
pybind11 |
2.10.0 |
pycparser |
2.20 |
pydantic |
1.9.2 |
Pygments |
2.10.0 |
PyGObject |
3.36.0 |
PyJWT |
測試盒框 |
PyMeeus |
0.5.11 |
PyNaCl |
1.5.0 |
pyodbc |
4.0.31 |
pyparsing |
3.0.4 |
pyrsistent |
0.18.0 |
pystan |
2.19.1.1 |
python-apt |
2.0.0 + ubuntu0.20.4.7 |
python-dateutil |
2.8.2 |
python編輯器 |
1.0.4 |
pytz |
2021.3 |
PyWavelets |
1.1.1 |
PyYAML |
6.0 |
pyzmq |
22.2.1 |
正則表達式 |
2021.8.3 |
請求 |
2.26.0 |
requests-oauthlib |
1.3.1 |
requests-unixsocket |
0.2.0 |
rsa |
4.9 |
s3transfer |
0.5.2 |
scikit-learn |
0.24.2 |
scipy |
1.7.1上 |
seaborn |
0.11.2 |
Send2Trash |
1.8.0 |
setuptools |
58.0.4 |
setuptools-git |
1.2 |
世鵬科技電子 |
0.41.0 |
simplejson |
3.17.6 |
六個 |
1.16.0 |
切片機 |
0.0.7 |
smart-open |
5.2.1 |
smmap |
5.0.0 |
寬大的 |
3.4.0 |
spacy-legacy |
3.0.9 |
spacy-loggers |
1.0.3 |
spark-tensorflow-distributor |
1.0.0 |
sqlparse |
0.4.2 |
srs |
2.4.4 |
ssh-import-id |
5.10 |
statsmodels |
0.12.2 |
彙總 |
0.8.9 |
tangled-up-in-unicode |
0.1.0 |
韌性 |
8.0.1 |
tensorboard |
2.9.1 |
tensorboard-data-server |
0.6.1 |
tensorboard-plugin-profile |
2.8.0 |
tensorboard-plugin-wit |
1.8.1 |
tensorflow |
2.9.1 |
tensorflow-estimator |
2.9.0 |
tensorflow-io-gcs-filesystem |
0.26.0 |
termcolor |
1.1.0 |
terminado |
0.9.4 |
testpath |
0.5.0 |
thinc |
8.1.0 |
threadpoolctl |
2.2.0 |
tokenize-rt |
4.2.1 |
分詞器 |
0.12.1 |
tomli |
2.0.1 |
火炬 |
1.11.0 + cu113 |
torchvision |
0.12.0 + cu113 |
龍卷風 |
6.1 |
tqdm |
4.62.3 |
traitlets |
5.1.0 |
變形金剛 |
4.20.1 |
打字機 |
0.4.2 |
typing-extensions |
3.10.0.2 |
ujson |
4.0.2 |
unattended-upgrades |
0.1 |
urllib3 |
1.26.7 |
virtualenv |
20.8.0 |
願景 |
0.7.4 |
芥末醬 |
0.10.1 |
wcwidth |
0.2.5 |
webencodings |
0.5.1 |
websocket-client |
1.3.1 |
Werkzeug |
2.0.2 |
輪 |
0.37.0 |
widgetsnbextension |
3.6.0 |
打包 |
1.12.1 |
xgboost |
1.5.2 |
氧化鋅碘仿糊 |
3.6.0 |
Java和Scala庫(Scala 2.12集群)
除了Java和Scala庫磚11.2運行時,磚運行時11.2毫升包含以下jar:
CPU集群
組ID |
工件ID |
版本 |
---|---|---|
com.typesafe.akka |
akka-actor_2.12 |
2.5.23 |
ml.combust.mleap |
mleap-databricks-runtime_2.12 |
v0.20.0-db1 |
ml.dmlc |
xgboost4j-spark_2.12 |
1.5.2 |
ml.dmlc |
xgboost4j_2.12 |
1.5.2 |
org.graphframes |
graphframes_2.12 |
0.8.2-db1-spark3.2 |
org.mlflow |
mlflow-client |
1.28.0 |
org.scala-lang.modules |
scala-java8-compat_2.12 |
0.8.0 |
org.tensorflow |
spark-tensorflow-connector_2.12 |
1.15.0 |
GPU集群
組ID |
工件ID |
版本 |
---|---|---|
com.typesafe.akka |
akka-actor_2.12 |
2.5.23 |
ml.combust.mleap |
mleap-databricks-runtime_2.12 |
v0.20.0-db1 |
ml.dmlc |
xgboost4j-gpu_2.12 |
1.5.2 |
ml.dmlc |
xgboost4j-spark-gpu_2.12 |
1.5.2 |
org.graphframes |
graphframes_2.12 |
0.8.2-db1-spark3.2 |
org.mlflow |
mlflow-client |
1.28.0 |
org.scala-lang.modules |
scala-java8-compat_2.12 |
0.8.0 |
org.tensorflow |
spark-tensorflow-connector_2.12 |
1.15.0 |