砖运行时为5.4毫升(不支持)

砖这张照片在2019年6月发布。

砖5.4运行时机器学习为机器学习和数据提供了一个准备好了环境科学的基础上砖运行时的5.4(不支持)。砖运行时毫升含有许多流行的机器学习库,包括TensorFlow PyTorch Keras, XGBoost。它还支持使用Horovod分布深度学习培训。

更多信息,包括指令创建砖集群运行时毫升、明白了介绍砖运行时机器学习。

新功能

砖砖的运行时5.4毫升之上5.4运行时。有什么新信息的砖5.4运行时,看到的砖运行时的5.4(不支持)发行说明。

除了库更新砖运行时的5.4毫升引入了以下新的特点:

分布式Hyperopt +自动MLflow跟踪

砖的运行时5.4毫升引入了一个新的实现Hyperopt由Apache火花规模和简化hyperparameter调优。一个新的试用类SparkTrials实现分发Hyperopt测试运行在多台机器和节点使用Apache火花。此外,所有优化实验,以及调谐hyperparameters和有针对性的指标,将自动记录到MLflow运行。看到并行化scikit-learn和MLflow hyperparameter调优。

预览

这个特性是在公共预览。

Apache火花MLlib+自动MLflow跟踪

砖的运行时5.4毫升支持自动记录MLflow运行为适合使用PySpark优化算法模型CrossValidator和TrainValidationSplit。看到Apache火花MLlib和自动化MLflow跟踪。这个特性在默认情况下砖运行时5.4毫升,但默认情况下在砖运行时的5.3毫升。

预览

这个特性是在公共预览。

HorovodRunner改进

输出从Horovod火花司机发送节点现在可见的笔记本电池。

XGBoost Python包更新

XGBoost Python包0.80安装。

请注意

砖5.4运行时包含一个新的数据加载保险丝安装优化,模型检查点和日志从每个工人到一个共享的存储位置文件:/ dbfs /毫升深度学习,它提供了高性能I / O工作负载。看到加载数据的机器学习和深度的学习。

系统环境

砖的系统环境运行时5.4毫升不同于砖运行时的5.4如下:

Python:2.7.15 Python 2集群和3.6.5 Python 3集群。
DBUtils:砖运行时不含5.4毫升库工具(dbutils.library)。
GPU集群,下面的NVIDIA GPU库:
- 396.44特斯拉的司机
- CUDA 9.2
- CUDNN 7.2.1

库

下面的章节列表库包含在砖运行时的5.4毫升,不同于那些包含在砖5.4运行时。

顶级库

砖运行时5.4毫升包括以下顶级库:

Python库

砖的运行时5.4毫升使用Conda Python包管理。因此,有重大的差异比砖安装Python库运行时。下面是一个完整的列表提供Python包和版本使用Conda包管理器安装。

图书馆	版本	图书馆	版本	图书馆	版本
absl-py	是0.7.1	argparse	1.4.0	asn1crypto	0.24.0
阿斯特	是0.7.1	backports-abc	0.5	backports.functools-lru-cache	1.5
backports.weakref	1.0.post1	bcrypt	3.1.6	漂白剂	2.1.3
宝途	2.48.0	boto3	1.7.62	botocore	1.10.62
certifi	2018.04.16	cffi	1.11.5	chardet	3.0.4
cloudpickle	0.5.3	彩色光	0.3.9	configparser	3.5.0
密码学	2.2.2	周期计	0.10.0	Cython	0.28.2
装饰	4.3.0	docutils	0.14	entrypoints	0.2.3
enum34	1.1.6	et-xmlfile	1.0.1	funcsigs	1.0.2中
functools32	3.2.3-2	fusepy	2.0.4	未来	0.17.1
期货	3.2.0	使惊讶	0.2.2	grpcio	1.12.1
h5py	2.8.0	horovod	0.16.0	html5lib	1.0.1
hyperopt	0.1.2.db4	idna	2.6	ipaddress	1.0.22
ipython	5.7.0	ipython_genutils	0.2.0	jdcal	1.4
Jinja2	2.10	jmespath	0.9.4	jsonschema	2.6.0
jupyter-client	5.2.3	jupyter-core	4.4.0	Keras	2.2.4
Keras-Applications	1.0.7	Keras-Preprocessing	1.0.9	kiwisolver	1.1.0
linecache2	1.0.0	llvmlite	0.23.1	lxml	4.2.1
减价	3.1.1	MarkupSafe	1.0	matplotlib	2.2.2
使走调	0.8.3	mkl-fft	1.0.0	mkl-random	1.0.1
mleap	0.8.1	模拟	2.0.0	msgpack	0.5.6
nbconvert	5.3.1	nbformat	4.4.0	networkx	2.2
鼻子	1.3.7	nose-exclude	0.5.0	numba	0.38.0 + 0. g2a2b772fc.dirty
numpy	1.14.3	olefile	0.45.1	openpyxl	2.5.3
熊猫	0.23.0	pandocfilters	1.4.2	paramiko	2.4.1
pathlib2	2.3.2	容易受骗的人	0.5.0	pbr	5.1.3
pexpect	4.5.0	pickleshare	0.7.4	枕头	5.1.0
皮普	10.0.1	厚度	3.11	prompt-toolkit	1.0.15
protobuf	3.7.1	psutil	5.6.2	psycopg2	2.7.5
ptyprocess	0.5.2	pyarrow	0.12.1	pyasn1	0.4.5
pycparser	2.18	Pygments	2.2.0	pymongo	3.8.0
PyNaCl	1.3.0	pyOpenSSL	18.0.0	pyparsing	2.2.0
PySocks	1.6.8	Python	2.7.15	python-dateutil	2.7.3
pytz	2018.4	PyYAML	5.1	pyzmq	17.0.0
请求	2.18.4	s3transfer	0.1.13	scandir	1.7
scikit-learn	0.19.1	scipy	1.1.0	seaborn	0.8.1
setuptools	39.1.0	simplegeneric	0.8.1	singledispatch	3.4.0.3
六个	1.11.0	statsmodels	0.9.0	subprocess32	3.5.4
tensorboard	1.12.2	tensorboardX	1.6	tensorflow	1.12.0
termcolor	1.1.0	testpath	0.3.1	火炬	0.4.1
torchvision	0.2.1	龙卷风	正式	tqdm	4.32.1
traceback2	1.4.0	traitlets	4.3.2	unittest2	1.1.0
urllib3	1.22	virtualenv	16.0.0	wcwidth	0.1.7
webencodings	0.5.1	Werkzeug	0.14.1	轮	0.31.1
打包	1.10.11	wsgiref	0.1.2

此外,下面的火花包包括Python模块:

火花包	Python模块	版本
graphframes	graphframes	0.7.0-db1-spark2.4
spark-deep-learning	sparkdl	1.5.0-db3-spark2.4
tensorframes	tensorframes	0.6.0-s_2.11

R库

R库的完全相同R图书馆砖5.4运行时。

Java和Scala库(Scala 2.11集群)

除了Java和Scala库砖5.4运行时,砖运行时5.4毫升包含以下jar:

组ID	工件ID	版本
com.databricks	spark-deep-learning	1.5.0-db3-spark2.4
com.typesafe.akka	akka-actor_2.11	2.3.11
ml.combust.mleap	mleap-databricks-runtime_2.11	0.13.0
ml.dmlc	xgboost4j	0.81
ml.dmlc	xgboost4j-spark	0.81
org.graphframes	graphframes_2.11	0.7.0-db1-spark2.4
org.tensorflow	libtensorflow	1.12.0
org.tensorflow	libtensorflow_jni	1.12.0
org.tensorflow	spark-tensorflow-connector_2.11	1.12.0
org.tensorflow	tensorflow	1.12.0
org.tensorframes	tensorframes	0.6.0-s_2.11