砖运行时5.2毫升

砖在2019年1月发布了这张照片。

砖运行时5.2毫升为机器学习和数据提供了一个准备好了环境科学的基础上砖运行时的5.2(不支持)。砖毫升运行时包含许多流行的机器学习库,包括TensorFlow PyTorch Keras, XGBoost。它还支持使用Horovod分布式TensorFlow培训。

更多信息,包括指令创建砖集群运行时毫升、明白了介绍砖运行时机器学习。

新功能

砖砖的运行时5.2毫升之上5.2运行时。有什么新信息的砖5.2运行时,看到的砖运行时的5.2(不支持)发行说明。除了库更新砖运行时的5.2毫升引入了以下新的特点:

GraphFrames现在支持Pregel API(Python)与砖的性能优化。
HorovodRunner补充道:
- 在GPU集群、培训流程映射到GPU而不是工人节点简化multi-GPU实例类型的支持。这个内置支持允许您分发给所有的gpu multi-GPU机器上没有自定义代码。
- HorovodRunner.run ()现在返回返回值从第一个培训过程。

请注意

砖运行时的ML版本捡起所有维护更新基础数据砖运行时版本。所有维护更新的列表,请参阅砖运行时的维护更新。

系统环境

砖的系统环境运行时5.2毫升不同于砖运行时的5.2如下:

Python:2.7.15 Python 2集群和3.6.5 Python 3集群。
DBUtils:砖运行时不含5.2毫升库工具(dbutils.library)。
GPU集群,下面的NVIDIA GPU库:
- 396.44特斯拉的司机
- CUDA 9.2
- CUDNN 7.2.1

库

下面的章节列表库包含在砖运行时的5.2毫升,不同于那些包含在砖5.2运行时。

Python库

砖的运行时5.2毫升使用Conda Python包管理。结果,有重大分歧预装Python库砖相比,运行时。下面是一个完整的列表提供Python包和版本使用Conda包管理器安装。

图书馆	版本	图书馆	版本	图书馆	版本
absl-py	0.6.1	argparse	1.4.0	asn1crypto	0.24.0
阿斯特	是0.7.1	backports-abc	0.5	backports.functools-lru-cache	1.5
backports.weakref	1.0.post1	bcrypt	3.1.5	漂白剂	2.1.3
宝途	2.48.0	boto3	1.7.62	botocore	1.10.62
certifi	2018.04.16	cffi	1.11.5	chardet	3.0.4
cloudpickle	0.5.3	彩色光	0.3.9	configparser	3.5.0
密码学	2.2.2	周期计	0.10.0	Cython	0.28.2
装饰	4.3.0	docutils	0.14	entrypoints	0.2.3
enum34	1.1.6	et-xmlfile	1.0.1	funcsigs	1.0.2中
functools32	3.2.3-2	fusepy	2.0.4	期货	3.2.0
使惊讶	0.2.0	grpcio	1.12.1	h5py	2.8.0
horovod	0.15.2	html5lib	1.0.1	idna	2.6
ipaddress	1.0.22	ipython	5.7.0	ipython_genutils	0.2.0
jdcal	1.4	Jinja2	2.10	jmespath	0.9.3
jsonschema	2.6.0	jupyter-client	5.2.3	jupyter-core	4.4.0
Keras	2.2.4	Keras-Applications	1.0.6	Keras-Preprocessing	1.0.5
kiwisolver	1.0.1	linecache2	1.0.0	llvmlite	0.23.1
lxml	4.2.1	减价	3.0.1	MarkupSafe	1.0
matplotlib	2.2.2	使走调	0.8.3	mleap	0.8.1
模拟	2.0.0	msgpack	0.5.6	nbconvert	5.3.1
nbformat	4.4.0	鼻子	1.3.7	nose-exclude	0.5.0
numba	0.38.0 + 0. g2a2b772fc.dirty	numpy	1.14.3	olefile	0.45.1
openpyxl	2.5.3	熊猫	0.23.0	pandocfilters	1.4.2
paramiko	2.4.1	pathlib2	2.3.2	容易受骗的人	0.5.0
pbr	5.1.1	pexpect	4.5.0	pickleshare	0.7.4
枕头	5.1.0	皮普	10.0.1	厚度	3.11
prompt-toolkit	1.0.15	protobuf	3.6.1	psycopg2	2.7.5
ptyprocess	0.5.2	pyarrow	0.8.0	pyasn1	0.4.4
pycparser	2.18	Pygments	2.2.0	PyNaCl	1.3.0
pyOpenSSL	18.0.0	pyparsing	2.2.0	PySocks	1.6.8
Python	2.7.15	python-dateutil	2.7.3	pytz	2018.4
PyYAML	3.12	pyzmq	17.0.0	请求	2.18.4
s3transfer	0.1.13	scandir	1.7	scikit-learn	0.19.1
scipy	1.1.0	seaborn	0.8.1	setuptools	39.1.0
simplegeneric	0.8.1	singledispatch	3.4.0.3	六个	1.11.0
statsmodels	0.9.0	subprocess32	3.5.3	tensorboard	1.12.2
tensorboardX	1.4	tensorflow	1.12.0	termcolor	1.1.0
testpath	0.3.1	火炬	0.4.1	torchvision	0.2.1
龙卷风	正式	traceback2	1.4.0	traitlets	4.3.2
unittest2	1.1.0	urllib3	1.22	virtualenv	16.0.0
wcwidth	0.1.7	webencodings	0.5.1	Werkzeug	0.14.1
轮	0.31.1	打包	1.10.11	wsgiref	0.1.2

此外,下面的火花包包括Python模块:

火花包	Python模块	版本
graphframes	graphframes	0.7.0-db1-spark2.4
spark-deep-learning	sparkdl	1.5.0-db1-spark2.4
tensorframes	tensorframes	0.6.0-s_2.11

R库

R库的完全相同R图书馆砖5.2运行时。

Java和Scala库(Scala 2.11集群)

除了Java和Scala库砖5.2运行时,砖运行时5.2毫升包含以下jar:

组ID	工件ID	版本
com.databricks	spark-deep-learning	1.5.0-db1-spark2.4
com.typesafe.akka	akka-actor_2.11	2.3.11
ml.combust.mleap	mleap-databricks-runtime_2.11	0.13.0
ml.dmlc	xgboost4j	0.81
ml.dmlc	xgboost4j-spark	0.81
org.graphframes	graphframes_2.11	0.7.0-db1-spark2.4
org.tensorflow	libtensorflow	1.12.0
org.tensorflow	libtensorflow_jni	1.12.0
org.tensorflow	spark-tensorflow-connector_2.11	1.12.0
org.tensorflow	tensorflow	1.12.0
org.tensorframes	tensorframes	0.6.0-s_2.11