磚運行時為5.4毫升(不支持)

磚這張照片在2019年6月發布。

磚5.4運行時機器學習為機器學習和數據提供了一個準備好了環境科學的基礎上磚運行時的5.4(不支持)。磚運行時毫升含有許多流行的機器學習庫,包括TensorFlow PyTorch Keras, XGBoost。它還支持使用Horovod分布深度學習培訓。

更多信息,包括指令創建磚集群運行時毫升、明白了介紹磚運行時機器學習。

新功能

磚磚的運行時5.4毫升之上5.4運行時。有什麼新信息的磚5.4運行時,看到的磚運行時的5.4(不支持)發行說明。

除了庫更新磚運行時的5.4毫升引入了以下新的特點:

分布式Hyperopt +自動MLflow跟蹤

磚的運行時5.4毫升引入了一個新的實現Hyperopt由Apache火花規模和簡化hyperparameter調優。一個新的試用類SparkTrials實現分發Hyperopt測試運行在多台機器和節點使用Apache火花。此外,所有優化實驗,以及調諧hyperparameters和有針對性的指標,將自動記錄到MLflow運行。看到並行化scikit-learn和MLflow hyperparameter調優。

預覽

這個特性是在公共預覽。

Apache火花MLlib+自動MLflow跟蹤

磚的運行時5.4毫升支持自動記錄MLflow運行為適合使用PySpark優化算法模型CrossValidator和TrainValidationSplit。看到Apache火花MLlib和自動化MLflow跟蹤。這個特性在默認情況下磚運行時5.4毫升,但默認情況下在磚運行時的5.3毫升。

預覽

這個特性是在公共預覽。

HorovodRunner改進

輸出從Horovod火花司機發送節點現在可見的筆記本電池。

XGBoost Python包更新

XGBoost Python包0.80安裝。

請注意

磚5.4運行時包含一個新的數據加載保險絲安裝優化,模型檢查點和日誌從每個工人到一個共享的存儲位置文件:/ dbfs /毫升深度學習,它提供了高性能I / O工作負載。看到加載數據的機器學習和深度的學習。

係統環境

磚的係統環境運行時5.4毫升不同於磚運行時的5.4如下:

Python:2.7.15 Python 2集群和3.6.5 Python 3集群。
DBUtils:磚運行時不含5.4毫升庫工具(dbutils.library)。
GPU集群,下麵的NVIDIA GPU庫:
- 396.44特斯拉的司機
- CUDA 9.2
- CUDNN 7.2.1

庫

下麵的章節列表庫包含在磚運行時的5.4毫升,不同於那些包含在磚5.4運行時。

頂級庫

磚運行時5.4毫升包括以下頂級庫:

Python庫

磚的運行時5.4毫升使用Conda Python包管理。因此,有重大的差異比磚安裝Python庫運行時。下麵是一個完整的列表提供Python包和版本使用Conda包管理器安裝。

圖書館	版本	圖書館	版本	圖書館	版本
absl-py	是0.7.1	argparse	1.4.0	asn1crypto	0.24.0
阿斯特	是0.7.1	backports-abc	0.5	backports.functools-lru-cache	1.5
backports.weakref	1.0.post1	bcrypt	3.1.6	漂白劑	2.1.3
寶途	2.48.0	boto3	1.7.62	botocore	1.10.62
certifi	2018.04.16	cffi	1.11.5	chardet	3.0.4
cloudpickle	0.5.3	彩色光	0.3.9	configparser	3.5.0
密碼學	2.2.2	周期計	0.10.0	Cython	0.28.2
裝飾	4.3.0	docutils	0.14	entrypoints	0.2.3
enum34	1.1.6	et-xmlfile	1.0.1	funcsigs	1.0.2中
functools32	3.2.3-2	fusepy	2.0.4	未來	0.17.1
期貨	3.2.0	使驚訝	0.2.2	grpcio	1.12.1
h5py	2.8.0	horovod	0.16.0	html5lib	1.0.1
hyperopt	0.1.2.db4	idna	2.6	ipaddress	1.0.22
ipython	5.7.0	ipython_genutils	0.2.0	jdcal	1.4
Jinja2	2.10	jmespath	0.9.4	jsonschema	2.6.0
jupyter-client	5.2.3	jupyter-core	4.4.0	Keras	2.2.4
Keras-Applications	1.0.7	Keras-Preprocessing	1.0.9	kiwisolver	1.1.0
linecache2	1.0.0	llvmlite	0.23.1	lxml	4.2.1
減價	3.1.1	MarkupSafe	1.0	matplotlib	2.2.2
使走調	0.8.3	mkl-fft	1.0.0	mkl-random	1.0.1
mleap	0.8.1	模擬	2.0.0	msgpack	0.5.6
nbconvert	5.3.1	nbformat	4.4.0	networkx	2.2
鼻子	1.3.7	nose-exclude	0.5.0	numba	0.38.0 + 0. g2a2b772fc.dirty
numpy	1.14.3	olefile	0.45.1	openpyxl	2.5.3
熊貓	0.23.0	pandocfilters	1.4.2	paramiko	2.4.1
pathlib2	2.3.2	容易受騙的人	0.5.0	pbr	5.1.3
pexpect	4.5.0	pickleshare	0.7.4	枕頭	5.1.0
皮普	10.0.1	厚度	3.11	prompt-toolkit	1.0.15
protobuf	3.7.1	psutil	5.6.2	psycopg2	2.7.5
ptyprocess	0.5.2	pyarrow	0.12.1	pyasn1	0.4.5
pycparser	2.18	Pygments	2.2.0	pymongo	3.8.0
PyNaCl	1.3.0	pyOpenSSL	18.0.0	pyparsing	2.2.0
PySocks	1.6.8	Python	2.7.15	python-dateutil	2.7.3
pytz	2018.4	PyYAML	5.1	pyzmq	17.0.0
請求	2.18.4	s3transfer	0.1.13	scandir	1.7
scikit-learn	0.19.1	scipy	1.1.0	seaborn	0.8.1
setuptools	39.1.0	simplegeneric	0.8.1	singledispatch	3.4.0.3
六個	1.11.0	statsmodels	0.9.0	subprocess32	3.5.4
tensorboard	1.12.2	tensorboardX	1.6	tensorflow	1.12.0
termcolor	1.1.0	testpath	0.3.1	火炬	0.4.1
torchvision	0.2.1	龍卷風	正式	tqdm	4.32.1
traceback2	1.4.0	traitlets	4.3.2	unittest2	1.1.0
urllib3	1.22	virtualenv	16.0.0	wcwidth	0.1.7
webencodings	0.5.1	Werkzeug	0.14.1	輪	0.31.1
打包	1.10.11	wsgiref	0.1.2

此外,下麵的火花包包括Python模塊:

火花包	Python模塊	版本
graphframes	graphframes	0.7.0-db1-spark2.4
spark-deep-learning	sparkdl	1.5.0-db3-spark2.4
tensorframes	tensorframes	0.6.0-s_2.11

R庫

R庫的完全相同R圖書館磚5.4運行時。

Java和Scala庫(Scala 2.11集群)

除了Java和Scala庫磚5.4運行時,磚運行時5.4毫升包含以下jar:

組ID	工件ID	版本
com.databricks	spark-deep-learning	1.5.0-db3-spark2.4
com.typesafe.akka	akka-actor_2.11	2.3.11
ml.combust.mleap	mleap-databricks-runtime_2.11	0.13.0
ml.dmlc	xgboost4j	0.81
ml.dmlc	xgboost4j-spark	0.81
org.graphframes	graphframes_2.11	0.7.0-db1-spark2.4
org.tensorflow	libtensorflow	1.12.0
org.tensorflow	libtensorflow_jni	1.12.0
org.tensorflow	spark-tensorflow-connector_2.11	1.12.0
org.tensorflow	tensorflow	1.12.0
org.tensorframes	tensorframes	0.6.0-s_2.11