砖的运行时10.4 LTS机器学习

砖的运行时10.4 LTS机器学习提供了一个准备好了环境科学基于机器学习和数据砖运行时10.4 LTS。砖运行时毫升含有许多流行的机器学习库,包括TensorFlow PyTorch, XGBoost。砖运行时毫升包括AutoML,一个工具来自动训练机器学习管道。砖运行时毫升也支持使用Horovod分布深度学习培训。

请注意

LTS意味着这个版本长期支持。看到(LTS)生命周期的长期支持。

更多信息,包括指令创建砖集群运行时毫升、明白了砖运行时机器学习。

新特性和改进

砖运行时10.4 LTS毫升是砖运行时的10.4 LTS之上。在砖有什么新信息运行时10.4 LTS,包括Apache火花MLlib和SparkR,看到砖运行时10.4 LTS发行说明。

增强砖AutoML

以下已经增强砖AutoML。

砖AutoML通常是可用的

从砖开始运行时10.4 LTS ML,砖AutoML通常是可用的。

归责缺失值

现在,您可以指定null值是如何估算的。默认情况下,AutoML基于列类型选择一个归责方法和内容。看到归责缺失值。

列选择界面

分类和回归问题,您现在可以使用UI除了API指定列AutoML应该忽略在其计算。看到列选择获取详细信息。

新的数据类型

AutoML现在支持数值数组类型。

自定义位置生成的笔记本和实验

现在,您可以指定一个位置在工作区AutoML应该保存生成的笔记本和实验。使用experiment_dir参数。看到分类和回归参数。

增强砖特色商店

以下已经增强砖特性的商店。

系统环境

砖的系统环境运行时10.4 LTS毫升不同于砖运行时10.4 LTS如下:

库

下面列表中包含的库砖运行时10.4 LTS毫升,不同于那些包含在运行时10.4 LTS砖。

Python库

砖运行时10.4 LTS毫升使用Virtualenv Python包管理,包括许多流行毫升包。

除了包中指定在下面几节中,砖运行时10.4 LTS毫升还包括以下方案:

  • hyperopt 0.2.7.db1

  • sparkdl 2.2.0-db5

  • feature_store 0.3.8

  • automl 1.7.2

Python库对CPU集群

复制的砖在本地Python运行时毫升Python环境的虚拟环境,下载requirements-10.4.txt文件和运行皮普安装- rrequirements-10.4.txt。这个命令安装所有的砖运行时毫升使用开源库,但没有安装砖开发库,等bob下载地址databricks-automl,databricks-feature-store,或砖叉hyperopt。

图书馆

版本

图书馆

版本

图书馆

版本

absl-py

0.11.0

Antergos Linux

2015.10 (ISO-Rolling)

appdirs

1.4.4

argon2-cffi

20.1.0

阿斯特

0.8.1

astunparse

1.6.3

async-generator

1.10

attrs

20.3.0

backcall

0.2.0

bcrypt

3.2.0

bidict

0.21.4

漂白剂

3.3.0

bli

0.7.4

boto3

1.16.7

botocore

1.19.7

cachetools

4.2.4

目录

2.0.6

certifi

2020.12.5

cffi

1.14.5

chardet

4.0.0

点击

7.1.2

cloudpickle

1.6.0

cmdstanpy

0.9.68

configparser

5.0.1

convertdate

2.3.2

密码学

3.4.7

周期计

0.10.0

cymem

2.0.5

Cython

0.29.23

databricks-automl-runtime

0.2.6虽然只是

databricks-cli

0.16.3

dbl-tempo

0.1.2

dbus-python

1.2.16

装饰

5.0.6

defusedxml

是0.7.1

莳萝

0.3.2

diskcache

5.2.1

distlib

0.3.4

distro-info

0.23 ubuntu1

entrypoints

0.3

ephem

4.1.3

facets-overview

1.0.0

fasttext

0.9.2

filelock

3.0.12

瓶

1.1.2

flatbuffers

2.0

fsspec

0.9.0

未来

0.18.2

使惊讶

0.4.0

gitdb

4.0.7

GitPython

3.1.12

google-auth

1.22.1

google-auth-oauthlib

0.4.2

google-pasta

0.2.0

grpcio

1.39.0

gunicorn

20.0.4

gviz-api

1.10.0

h5py

3.1.0

hijri-converter

2.2.3

假期

0.12

horovod

0.23.0

htmlmin

0.1.12

huggingface-hub

0.1.2

idna

2.10

ImageHash

4.2.1

imbalanced-learn

0.8.1

importlib-metadata

3.10.0

ipykernel

5.3.4

ipython

7.22.0

ipython-genutils

0.2.0

ipywidgets

7.6.3

isodate

0.6.0

itsdangerous

1.1.0

绝地武士

0.17.2

Jinja2

14

jmespath

0.10.0

joblib

1.0.1

joblibspark

0.3.0

jsonschema

3.2.0

jupyter-client

6.1.12

jupyter-core

4.7.1

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

keras

2.8.0

Keras-Preprocessing

1.1.2

kiwisolver

1.3.1

考拉

1.8.2

korean-lunar-calendar

0.2.1

langcodes

3.3.0

libclang

13.0.0

lightgbm

3.3.2

llvmlite

0.38.0

LunarCalendar

0.0.9

尖吻鲭鲨

1.1.3

减价

3.3.3

MarkupSafe

2.0.1

matplotlib

3.4.2

missingno

0.5.1

使走调

0.8.4

mleap

0.18.1

mlflow-skinny

1.24.0

多重方法

1.7

murmurhash

1.0.5

nbclient

0.5.3

nbconvert

6.0.7

nbformat

5.1.3

nest-asyncio

1.5.1

networkx

2.5

nltk

3.6.1

笔记本

6.3.0

numba

0.55.1

numpy

1.20.1

oauthlib

3.1.0

opt-einsum

3.3.0

包装

21.3

熊猫

1.2.4

pandas-profiling

3.1.0

pandocfilters

3

paramiko

2.7.2

parso

0.7.0

表“感觉”

0.6.0

容易受骗的人

0.5.1

petastorm

0.11.4

pexpect

4.8.0

phik

0.12.0

pickleshare

0.7.5

枕头

8.2.0

皮普

21.0.1

情节

发送的

pmdarima

1.8.4

棒

3.0.5

prometheus-client

0.10.1

prompt-toolkit

3.0.17

先知

1.0.1

protobuf

3.17.2

psutil

5.8.0

psycopg2

2.8.5

ptyprocess

0.7.0

pyarrow

4.0.0

pyasn1

0.4.8

pyasn1-modules

0.2.8

pybind11

2.9.1

pycparser

2.20

pydantic

1.8.2

Pygments

2.8.1发布

PyGObject

3.36.0

PyMeeus

0.5.11

PyNaCl

1.4.0

pyodbc

4.0.30

pyparsing

2.4.7

pyrsistent

0.17.3

pystan

2.19.1.1

python-apt

2.0.0 + ubuntu0.20.4.7

python-dateutil

2.8.1发布

python编辑器

1.0.4

python-engineio

4.3.0

python-socketio

5.4.1之前

pytz

2020.5

PyWavelets

1.1.1

PyYAML

5.4.1之前

pyzmq

20.0.0

正则表达式

2021.4.4

请求

2.25.1

requests-oauthlib

1.3.0

requests-unixsocket

0.2.0

rsa

4.7.2

s3transfer

0.3.7

sacremoses

0.0.46

scikit-learn

0.24.1

scipy

1.6.2

seaborn

0.11.1

Send2Trash

1.5.0

setuptools

52.0.0

setuptools-git

1.2

世鹏科技电子

0.40.0

simplejson

3.17.2

六个

1.15.0

切片机

0.0.7

smart-open

5.2.0

smmap

3.0.5

宽大的

3.2.1之上

spacy-legacy

3.0.8

spacy-loggers

1.0.1

spark-tensorflow-distributor

1.0.0

sqlparse

0.4.1

srs

2.4.1

ssh-import-id

5.10

statsmodels

0.12.2

汇总

0.8.7

tangled-up-in-unicode

0.1.0

韧性

6.2.0

tensorboard

2.8.0

tensorboard-data-server

0.6.1

tensorboard-plugin-profile

2.5.0

tensorboard-plugin-wit

1.8.1

tensorflow-cpu

2.8.0

tensorflow-estimator

2.8.0

tensorflow-io-gcs-filesystem

0.24.0

termcolor

1.1.0

terminado

0.9.4

testpath

0.4.4

tf-estimator-nightly

2.8.0.dev2021122109

thinc

8.0.12

threadpoolctl

魅惑

分词器

0.10.3

火炬

1.10.2 + cpu

torchvision

0.11.3 + cpu

龙卷风

6.1

tqdm

4.59.0

traitlets

5.0.5

变形金刚

4.16.2

打字机

0.3.2

typing-extensions

3.7.4.3

ujson

4.0.2

unattended-upgrades

0.1

urllib3

1.25.11

virtualenv

20.4.1

愿景

0.7.4

芥末酱

0.8.2

wcwidth

0.2.5

webencodings

0.5.1

websocket-client

0.57.0

Werkzeug

1.0.1

轮

0.36.2

widgetsnbextension

3.5.1

打包

1.12.1

xgboost

1.5.2

氧化锌碘仿糊

3.4.1

Python库在GPU集群

图书馆

版本

图书馆

版本

图书馆

版本

absl-py

0.11.0

Antergos Linux

2015.10 (ISO-Rolling)

appdirs

1.4.4

argon2-cffi

20.1.0

阿斯特

0.8.1

astunparse

1.6.3

async-generator

1.10

attrs

20.3.0

backcall

0.2.0

bcrypt

3.2.0

bidict

0.21.4

漂白剂

3.3.0

bli

0.7.4

boto3

1.16.7

botocore

1.19.7

cachetools

4.2.4

目录

2.0.6

certifi

2020.12.5

cffi

1.14.5

chardet

4.0.0

点击

7.1.2

cloudpickle

1.6.0

cmdstanpy

0.9.68

configparser

5.0.1

convertdate

2.3.2

密码学

3.4.7

周期计

0.10.0

cymem

2.0.5

Cython

0.29.23

databricks-automl-runtime

0.2.6虽然只是

databricks-cli

0.16.3

dbl-tempo

0.1.2

dbus-python

1.2.16

装饰

5.0.6

defusedxml

是0.7.1

莳萝

0.3.2

diskcache

5.2.1

distlib

0.3.4

distro-info

0.23 ubuntu1

entrypoints

0.3

ephem

4.1.3

facets-overview

1.0.0

fasttext

0.9.2

filelock

3.0.12

瓶

1.1.2

flatbuffers

2.0

fsspec

0.9.0

未来

0.18.2

使惊讶

0.4.0

gitdb

4.0.7

GitPython

3.1.12

google-auth

1.22.1

google-auth-oauthlib

0.4.2

google-pasta

0.2.0

grpcio

1.39.0

gunicorn

20.0.4

gviz-api

1.10.0

h5py

3.1.0

hijri-converter

2.2.3

假期

0.12

horovod

0.23.0

htmlmin

0.1.12

huggingface-hub

0.1.2

idna

2.10

ImageHash

4.2.1

imbalanced-learn

0.8.1

importlib-metadata

3.10.0

ipykernel

5.3.4

ipython

7.22.0

ipython-genutils

0.2.0

ipywidgets

7.6.3

isodate

0.6.0

itsdangerous

1.1.0

绝地武士

0.17.2

Jinja2

14

jmespath

0.10.0

joblib

1.0.1

joblibspark

0.3.0

jsonschema

3.2.0

jupyter-client

6.1.12

jupyter-core

4.7.1

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

keras

2.8.0

Keras-Preprocessing

1.1.2

kiwisolver

1.3.1

考拉

1.8.2

korean-lunar-calendar

0.2.1

langcodes

3.3.0

libclang

13.0.0

lightgbm

3.3.2

llvmlite

0.38.0

LunarCalendar

0.0.9

尖吻鲭鲨

1.1.3

减价

3.3.3

MarkupSafe

2.0.1

matplotlib

3.4.2

missingno

0.5.1

使走调

0.8.4

mleap

0.18.1

mlflow-skinny

1.24.0

多重方法

1.7

murmurhash

1.0.5

nbclient

0.5.3

nbconvert

6.0.7

nbformat

5.1.3

nest-asyncio

1.5.1

networkx

2.5

nltk

3.6.1

笔记本

6.3.0

numba

0.55.1

numpy

1.20.1

oauthlib

3.1.0

opt-einsum

3.3.0

包装

21.3

熊猫

1.2.4

pandas-profiling

3.1.0

pandocfilters

3

paramiko

2.7.2

parso

0.7.0

表“感觉”

0.6.0

容易受骗的人

0.5.1

petastorm

0.11.4

pexpect

4.8.0

phik

0.12.0

pickleshare

0.7.5

枕头

8.2.0

皮普

21.0.1

情节

发送的

pmdarima

1.8.4

棒

3.0.5

prompt-toolkit

3.0.17

先知

1.0.1

protobuf

3.17.2

psutil

5.8.0

psycopg2

2.8.5

ptyprocess

0.7.0

pyarrow

4.0.0

pyasn1

0.4.8

pyasn1-modules

0.2.8

pybind11

2.9.1

pycparser

2.20

pydantic

1.8.2

Pygments

2.8.1发布

PyGObject

3.36.0

PyMeeus

0.5.11

PyNaCl

1.4.0

pyodbc

4.0.30

pyparsing

2.4.7

pyrsistent

0.17.3

pystan

2.19.1.1

python-apt

2.0.0 + ubuntu0.20.4.7

python-dateutil

2.8.1发布

python编辑器

1.0.4

python-engineio

4.3.0

python-socketio

5.4.1之前

pytz

2020.5

PyWavelets

1.1.1

PyYAML

5.4.1之前

pyzmq

20.0.0

正则表达式

2021.4.4

请求

2.25.1

requests-oauthlib

1.3.0

requests-unixsocket

0.2.0

rsa

4.7.2

s3transfer

0.3.7

sacremoses

0.0.46

scikit-learn

0.24.1

scipy

1.6.2

seaborn

0.11.1

Send2Trash

1.5.0

setuptools

52.0.0

setuptools-git

1.2

世鹏科技电子

0.40.0

simplejson

3.17.2

六个

1.15.0

切片机

0.0.7

smart-open

5.2.0

smmap

3.0.5

宽大的

3.2.1之上

spacy-legacy

3.0.8

spacy-loggers

1.0.1

spark-tensorflow-distributor

1.0.0

sqlparse

0.4.1

srs

2.4.1

ssh-import-id

5.10

statsmodels

0.12.2

汇总

0.8.7

tangled-up-in-unicode

0.1.0

韧性

6.2.0

tensorboard

2.8.0

tensorboard-data-server

0.6.1

tensorboard-plugin-profile

2.5.0

tensorboard-plugin-wit

1.8.1

tensorflow

2.8.0

tensorflow-estimator

2.8.0

tensorflow-io-gcs-filesystem

0.24.0

termcolor

1.1.0

terminado

0.9.4

testpath

0.4.4

tf-estimator-nightly

2.8.0.dev2021122109

thinc

8.0.12

threadpoolctl

魅惑

分词器

0.10.3

火炬

1.10.2 + cu111

torchvision

0.11.3 + cu111

龙卷风

6.1

tqdm

4.59.0

traitlets

5.0.5

变形金刚

4.16.2

打字机

0.3.2

typing-extensions

3.7.4.3

ujson

4.0.2

unattended-upgrades

0.1

urllib3

1.25.11

virtualenv

20.4.1

愿景

0.7.4

芥末酱

0.8.2

wcwidth

0.2.5

webencodings

0.5.1

websocket-client

0.57.0

Werkzeug

1.0.1

轮

0.36.2

widgetsnbextension

3.5.1

打包

1.12.1

xgboost

1.5.2

氧化锌碘仿糊

3.4.1

引发包包含Python模块

火花包

Python模块

版本

graphframes

graphframes

0.8.2-db1-spark3.2

R库

R库的完全相同R库在运行时10.4 LTS砖。

Java和Scala库(Scala 2.12集群)

除了Java和Scala库砖运行时10.4 LTS,砖运行时10.4 LTS毫升包含以下jar:

CPU集群

组ID

工件ID

版本

com.typesafe.akka

akka-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

0.18.1-23eb1ef

ml.dmlc

xgboost4j-spark_2.12

1.5.2

ml.dmlc

xgboost4j_2.12

1.5.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflow

mlflow-client

1.24.0

org.mlflow

mlflow-spark

1.24.0

org.scala-lang.modules

scala-java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0

GPU集群

组ID

工件ID

版本

com.typesafe.akka

akka-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

0.18.1-23eb1ef

ml.dmlc

xgboost4j-spark_2.12

1.5.2

ml.dmlc

xgboost4j_2.12

1.5.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflow

mlflow-client

1.24.0

org.mlflow

mlflow-spark

1.24.0

org.scala-lang.modules

scala-java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0