砖的运行时13.3 LTS机器学习(β)

砖的运行时13.3 LTS机器学习提供了一个准备好了环境科学基于机器学习和数据砖运行时13.3 LTS(β)。砖运行时毫升含有许多流行的机器学习库,包括TensorFlow PyTorch, XGBoost。砖运行时毫升包括AutoML,一个工具来自动训练机器学习管道。砖运行时毫升也支持使用Horovod分布深度学习培训。

更多信息,包括指令创建砖集群运行时毫升、明白了介绍砖运行时机器学习。

新特性和改进

砖运行时13.3 LTS毫升是砖运行时的13.3 LTS之上。在砖有什么新信息运行时13.3 LTS,包括Apache火花MLlib和SparkR,看到砖运行时13.3 LTS(β)发行说明。

改变砖特色商店

  • 砖运行时存储客户端v0.14.0 13.3 LTS毫升包含特性。与客户端版本0.14.0以上,您必须指定时间戳的键列primary_keys论点。时间戳键的一部分“主键”,唯一地标识表中的每一行功能。

  • 您现在可以排除特征值和时间戳在指定的时间从训练集。设置时间限制的历史特性值。

系统环境

砖的系统环境运行时13.3 LTS毫升不同于砖运行时13.3 LTS如下:

砖运行时13.3 LTS毫升包括XGBoost 1.7.3,不支持GPU集群计算能力5.2甚至更低。

库

下面列表中包含的库砖运行时13.3 LTS毫升,不同于那些包含在运行时13.3 LTS砖。

Python库

砖运行时13.3 LTS毫升使用Virtualenv Python包管理,包括许多流行毫升包。

除了指定的包在下面几节中,砖运行时13.3 LTS毫升还包括以下方案:

  • hyperopt 0.2.7 + db4

  • sparkdl 3.0.0_db1

  • automl 1.20.0

复制的砖在本地Python运行时毫升Python环境的虚拟环境,下载requirements-13.3.txt文件和运行皮普安装- rrequirements-13.3.txt。这个命令安装所有的砖运行时毫升使用开源库,但没有安装库由砖等bob下载地址databricks-automl,databricks-feature-store,或砖叉hyperopt。

Python库对CPU集群

图书馆

版本

图书馆

版本

图书馆

版本

absl-py

1.0.0

加速

0.20.3

aiohttp

3.8.5

aiosignal

1.3.1

anyio

3.5.0

appdirs

1.4.4

argon2-cffi

21.3.0

argon2-cffi-bindings

21.2.0

阿斯特

0.8.1

asttokens

2.2.1

astunparse

1.6.3

async-timeout

4.0.2

attrs

21.4.0

audioread

3.0.0

azure-core

1.28.0

azure-cosmos

4.3.1

azure-storage-blob

12.17.0

azure-storage-file-datalake

12.12.0

backcall

0.2.0

bcrypt

3.2.0

beautifulsoup4

4.11.1

黑色的

22.6.0

漂白剂

4.1.0

信号灯

1.4

bli

0.7.10

boto3

1.24.28

botocore

1.27.28

cachetools

4.2.4

目录

2.0.9

category-encoders

2.6.1

certifi

2022.9.14

cffi

1.15.1

chardet

4.0.0

charset-normalizer

2.0.4

点击

8.0.4

cloudpickle

2.0.0

cmdstanpy

1.1.0

糖果

0.1.0

configparser

5.2.0

convertdate

测试盒框

密码学

37.0.1

周期计

0.11.0

cymem

2.0.7

Cython

0.29.32

英安岩

1.8.1

databricks-automl-runtime

0.2.17

databricks-cli

0.17.7

databricks-feature-store

0.14.0

databricks-sdk

0.1.6

dataclasses-json

0.5.13

数据集

2.13.1

dbl-tempo

0.1.23

dbus-python

1.2.18

debugpy

1.6.0

装饰

5.1.1

defusedxml

是0.7.1

莳萝

0.3.4

diskcache

5.6.1

distlib

0.3.7

docstring-to-markdown

0.12

entrypoints

0.4

ephem

4.1.4

评估

0.4.0

执行

1.2.0

facets-overview

1.0.3

fastapi

0.98.0

fastjsonschema

2.18.0

fasttext

0.9.2

filelock

3.6.0

瓶

1.1.2 + db1

flatbuffers

23.5.26

fonttools

4.25.0

frozenlist

1.4.0

fsspec

2022.7.1

未来

0.18.2

使惊讶

0.4.0

gitdb

4.0.10

GitPython

3.1.27

google-api-core

2.8.2

google-auth

1.33.0

google-auth-oauthlib

0.4.6

google-cloud-core

2.3.3

google-cloud-storage

2.10.0

google-crc32c

1.5.0

google-pasta

0.2.0

google-resumable-media

2.5.0

googleapis-common-protos

1.56.4

一种绿色小鸟

1.1.1

grpcio

1.48.1

grpcio-status

1.48.1

gunicorn

20.1.0

gviz-api

1.10.0

h11

0.14.0

h5py

3.7.0

假期

0.27.1

horovod

0.28.1

htmlmin

0.1.12

httplib2

0.20.2

httptools

0.6.0

huggingface-hub

0.16.4

idna

3.3

ImageHash

4.3.1

imbalanced-learn

0.10.1

importlib-metadata

4.11.3

importlib-resources

0

ipykernel

6.17.1

ipython

8.10.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

isodate

0.6.1

itsdangerous

2.0.1

绝地武士

0.18.1

吉普车

是0.7.1

Jinja2

14

jmespath

0.10.0

joblib

1.2.0

joblibspark

0.5.1

jsonschema

4.16.0

jupyter-client

7.3.4

jupyter_core

4.11.2

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

keras

2.11.0

密匙环

23.5.0

kiwisolver

1.4.2

langchain

0.0.217

langchainplus-sdk

0.0.20

langcodes

3.3.0

launchpadlib

1.10.16

lazr.restfulclient

0.14.4

lazr.uri

1.0.6

lazy_loader

0.3

libclang

15.0.6.1

librosa

0.10.0

lightgbm

3.3.5

llvmlite

0.38.0

LunarCalendar

0.0.9

尖吻鲭鲨

1.2.0

减价

3.3.4

MarkupSafe

2.0.1

棉花糖

3.20.1

matplotlib

3.5.2

matplotlib-inline

0.1.6

麦凯布

0.7.0

使走调

0.8.4

mleap

0.20.0

mlflow-skinny

2.5.0

more-itertools

8.10.0

msgpack

1.0.5

multidict

6.0.4

多重方法

1.9.1

多进程

0.70.12.2

murmurhash

1.0.9

mypy-extensions

0.4.3

nbclient

0.5.13

nbconvert

6.4.4

nbformat

发送的

nest-asyncio

1.5.5

networkx

2.8.4

忍者

1.11.1

nltk

3.7

nodeenv

1.8.0

笔记本

6.4.12

numba

0.55.1

numexpr

2.8.4

numpy

1.21.5

oauthlib

3.2.0

openai

0.27.8

openapi-schema-pydantic

1.2.4

opt-einsum

3.3.0

包装

21.3

熊猫

1.4.4

pandocfilters

1.5.0

paramiko

2.9.2

parso

0.8.3

pathspec

0.9.0

表“感觉”

0.10.2

容易受骗的人

0.5.2

petastorm

0.12.1

pexpect

4.8.0

phik

0.12.3

pickleshare

0.7.5

枕头

9.2.0

皮普

22.2.2

bob体育客户端下载platformdirs

2.5.2

情节

5.9.0

pluggy

1.0.0

pmdarima

2.0.3

狗

1.7.0

棒

3.0.8

prometheus-client

0.14.1

prompt-toolkit

3.0.36

先知

1.1.4

protobuf

3.19.4

psutil

5.9.0

psycopg2

2.9.3

ptyprocess

0.7.0

pure-eval

0.2.2

pyarrow

8.0.0

pyasn1

0.4.8

pyasn1-modules

0.2.8

pybind11

2.11.1

pycparser

2.21

pydantic

1.10.6

pyflakes

3.0.1

Pygments

2.11.2

PyGObject

3.42.1

PyJWT

tripwire

PyMeeus

0.5.12

PyNaCl

1.5.0

pyodbc

4.0.32

pyparsing

3.0.9

pyright

1.1.294

pyrsistent

0.18.0

pytesseract

0.3.10

python-dateutil

2.8.2

python-dotenv

1.0.0

python编辑器

1.0.4

python-lsp-jsonrpc

1.0.0

python-lsp-server

1.7.1上

pytoolconfig

1.2.2

pytz

2022.1

PyWavelets

1.3.0

PyYAML

6.0

pyzmq

23.2.0

正则表达式

2022.7.9

请求

2.28.1

requests-oauthlib

1.3.1

反应

0.18.0

绳子

1.7.0

rsa

4.9

s3transfer

0.6.0

safetensors

0.3.1

scikit-learn

1.1.1

scipy

1.9.1

seaborn

0.11.2

SecretStorage

3.3.1

Send2Trash

1.8.0

sentence-transformers

2.2.2

sentencepiece

0.1.99

setuptools

63.4.1

世鹏科技电子

0.41.0

simplejson

3.17.6

六个

1.16.0

切片机

0.0.7

smart-open

5.2.1

smmap

5.0.0

sniffio

1.2.0

soundfile

0.12.1

soupsieve

2.3.1

soxr

0.3.5

宽大的

3.5.3

spacy-legacy

3.0.12

spacy-loggers

1.0.4

spark-tensorflow-distributor

1.0.0

SQLAlchemy

1.4.39

sqlparse

0.4.2

srs

2.4.7

ssh-import-id

5.11

堆栈数据

0.6.2

starlette

0.27.0

statsmodels

0.13.2

汇总

0.8.10

tangled-up-in-unicode

0.2.0

韧性

8.1.0

tensorboard

2.11.0

tensorboard-data-server

0.6.1

tensorboard-plugin-profile

2.11.2

tensorboard-plugin-wit

1.8.1

tensorflow-cpu

2.11.1

tensorflow-estimator

2.11.0

tensorflow-io-gcs-filesystem

0.32.0

termcolor

tripwire

terminado

0.13.1

testpath

0.6.0

thinc

8.1.10

threadpoolctl

2.2.0

tiktoken

0.4.0

tokenize-rt

4.2.1

分词器

0.13.3

tomli

2.0.1

火炬

1.13.1 + cpu

torchvision

0.14.1 + cpu

龙卷风

6.1

tqdm

4.64.1

traitlets

5.1.1

变形金刚

4.30.2

typeguard

2.13.3

打字机

0.7.0

typing-inspect

0.9.0

typing_extensions

4.3.0

ujson

5.4.0

unattended-upgrades

0.1

urllib3

1.26.11

uvicorn

0.23.1

uvloop

0.17.0

virtualenv

20.16.3

愿景

0.7.5

wadllib

1.3.6

芥末酱

1.1.2

watchfiles

0.19.0

wcwidth

0.2.5

webencodings

0.5.1

websocket-client

0.58.0

尚

11.0.3

Werkzeug

2.0.3

whatthepatch

1.0.2中

轮

0.37.1

widgetsnbextension

3.6.1

wordcloud

1.9.2

打包

1.14.1

xgboost

1.7.6

xxhash

3.2.0

yapf

0.31.0

yarl

1.9.2

ydata-profiling

4.2.0

氧化锌碘仿糊

3.8.0

Python库在GPU集群

图书馆

版本

图书馆

版本

图书馆

版本

absl-py

1.0.0

加速

0.20.3

aiohttp

3.8.5

aiosignal

1.3.1

anyio

3.5.0

appdirs

1.4.4

argon2-cffi

21.3.0

argon2-cffi-bindings

21.2.0

阿斯特

0.8.1

asttokens

2.2.1

astunparse

1.6.3

async-timeout

4.0.2

attrs

21.4.0

audioread

3.0.0

azure-core

1.28.0

azure-cosmos

4.3.1

azure-storage-blob

12.17.0

azure-storage-file-datalake

12.12.0

backcall

0.2.0

bcrypt

3.2.0

beautifulsoup4

4.11.1

黑色的

22.6.0

漂白剂

4.1.0

信号灯

1.4

bli

0.7.10

boto3

1.24.28

botocore

1.27.28

cachetools

4.2.4

目录

2.0.9

category-encoders

2.6.1

certifi

2022.9.14

cffi

1.15.1

chardet

4.0.0

charset-normalizer

2.0.4

点击

8.0.4

cloudpickle

2.0.0

cmdstanpy

1.1.0

糖果

0.1.0

configparser

5.2.0

convertdate

测试盒框

密码学

37.0.1

周期计

0.11.0

cymem

2.0.7

Cython

0.29.32

英安岩

1.8.1

databricks-automl-runtime

0.2.17

databricks-cli

0.17.7

databricks-feature-store

0.14.0

databricks-sdk

0.1.6

dataclasses-json

0.5.13

数据集

2.13.1

dbl-tempo

0.1.23

dbus-python

1.2.18

debugpy

1.6.0

装饰

5.1.1

defusedxml

是0.7.1

莳萝

0.3.4

diskcache

5.6.1

distlib

0.3.7

docstring-to-markdown

0.12

einops

0.6.1

entrypoints

0.4

ephem

4.1.4

评估

0.4.0

执行

1.2.0

facets-overview

1.0.3

fastapi

0.98.0

fastjsonschema

2.18.0

fasttext

0.9.2

filelock

3.6.0

flash-attn

1.0.7

瓶

1.1.2 + db1

flatbuffers

23.5.26

fonttools

4.25.0

frozenlist

1.4.0

fsspec

2022.7.1

未来

0.18.2

使惊讶

0.4.0

gitdb

4.0.10

GitPython

3.1.27

google-api-core

2.8.2

google-auth

1.33.0

google-auth-oauthlib

0.4.6

google-cloud-core

2.3.3

google-cloud-storage

2.10.0

google-crc32c

1.5.0

google-pasta

0.2.0

google-resumable-media

2.5.0

googleapis-common-protos

1.56.4

一种绿色小鸟

1.1.1

grpcio

1.48.1

grpcio-status

1.48.1

gunicorn

20.1.0

gviz-api

1.10.0

h11

0.14.0

h5py

3.7.0

假期

0.27.1

horovod

0.28.1

htmlmin

0.1.12

httplib2

0.20.2

httptools

0.6.0

huggingface-hub

0.16.4

idna

3.3

ImageHash

4.3.1

imbalanced-learn

0.10.1

importlib-metadata

4.11.3

importlib-resources

0

ipykernel

6.17.1

ipython

8.10.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

isodate

0.6.1

itsdangerous

2.0.1

绝地武士

0.18.1

吉普车

是0.7.1

Jinja2

14

jmespath

0.10.0

joblib

1.2.0

joblibspark

0.5.1

jsonschema

4.16.0

jupyter-client

7.3.4

jupyter_core

4.11.2

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

keras

2.11.0

密匙环

23.5.0

kiwisolver

1.4.2

langchain

0.0.217

langchainplus-sdk

0.0.20

langcodes

3.3.0

launchpadlib

1.10.16

lazr.restfulclient

0.14.4

lazr.uri

1.0.6

lazy_loader

0.3

libclang

15.0.6.1

librosa

0.10.0

lightgbm

3.3.5

llvmlite

0.38.0

LunarCalendar

0.0.9

尖吻鲭鲨

1.2.0

减价

3.3.4

MarkupSafe

2.0.1

棉花糖

3.20.1

matplotlib

3.5.2

matplotlib-inline

0.1.6

麦凯布

0.7.0

使走调

0.8.4

mleap

0.20.0

mlflow-skinny

2.5.0

more-itertools

8.10.0

msgpack

1.0.5

multidict

6.0.4

多重方法

1.9.1

多进程

0.70.12.2

murmurhash

1.0.9

mypy-extensions

0.4.3

nbclient

0.5.13

nbconvert

6.4.4

nbformat

发送的

nest-asyncio

1.5.5

networkx

2.8.4

忍者

1.11.1

nltk

3.7

nodeenv

1.8.0

笔记本

6.4.12

numba

0.55.1

numexpr

2.8.4

numpy

1.21.5

oauthlib

3.2.0

openai

0.27.8

openapi-schema-pydantic

1.2.4

opt-einsum

3.3.0

包装

21.3

熊猫

1.4.4

pandocfilters

1.5.0

paramiko

2.9.2

parso

0.8.3

pathspec

0.9.0

表“感觉”

0.10.2

容易受骗的人

0.5.2

petastorm

0.12.1

pexpect

4.8.0

phik

0.12.3

pickleshare

0.7.5

枕头

9.2.0

皮普

22.2.2

bob体育客户端下载platformdirs

2.5.2

情节

5.9.0

pluggy

1.0.0

pmdarima

2.0.3

狗

1.7.0

棒

3.0.8

prompt-toolkit

3.0.36

先知

1.1.4

protobuf

3.19.4

psutil

5.9.0

psycopg2

2.9.3

ptyprocess

0.7.0

pure-eval

0.2.2

pyarrow

8.0.0

pyasn1

0.4.8

pyasn1-modules

0.2.8

pybind11

2.11.1

pycparser

2.21

pydantic

1.10.6

pyflakes

3.0.1

Pygments

2.11.2

PyGObject

3.42.1

PyJWT

tripwire

PyMeeus

0.5.12

PyNaCl

1.5.0

pyodbc

4.0.32

pyparsing

3.0.9

pyright

1.1.294

pyrsistent

0.18.0

pytesseract

0.3.10

python-dateutil

2.8.2

python-dotenv

1.0.0

python编辑器

1.0.4

python-lsp-jsonrpc

1.0.0

python-lsp-server

1.7.1上

pytoolconfig

1.2.2

pytz

2022.1

PyWavelets

1.3.0

PyYAML

6.0

pyzmq

23.2.0

正则表达式

2022.7.9

请求

2.28.1

requests-oauthlib

1.3.1

反应

0.18.0

绳子

1.7.0

rsa

4.9

s3transfer

0.6.0

safetensors

0.3.1

scikit-learn

1.1.1

scipy

1.9.1

seaborn

0.11.2

SecretStorage

3.3.1

Send2Trash

1.8.0

sentence-transformers

2.2.2

sentencepiece

0.1.99

setuptools

63.4.1

世鹏科技电子

0.41.0

simplejson

3.17.6

六个

1.16.0

切片机

0.0.7

smart-open

5.2.1

smmap

5.0.0

sniffio

1.2.0

soundfile

0.12.1

soupsieve

2.3.1

soxr

0.3.5

宽大的

3.5.3

spacy-legacy

3.0.12

spacy-loggers

1.0.4

spark-tensorflow-distributor

1.0.0

SQLAlchemy

1.4.39

sqlparse

0.4.2

srs

2.4.7

ssh-import-id

5.11

堆栈数据

0.6.2

starlette

0.27.0

statsmodels

0.13.2

汇总

0.8.10

tangled-up-in-unicode

0.2.0

韧性

8.1.0

tensorboard

2.11.0

tensorboard-data-server

0.6.1

tensorboard-plugin-profile

2.11.2

tensorboard-plugin-wit

1.8.1

tensorflow

2.11.1

tensorflow-estimator

2.11.0

tensorflow-io-gcs-filesystem

0.32.0

termcolor

tripwire

terminado

0.13.1

testpath

0.6.0

thinc

8.1.10

threadpoolctl

2.2.0

tiktoken

0.4.0

tokenize-rt

4.2.1

分词器

0.13.3

tomli

2.0.1

火炬

1.13.1 + cu117

torchvision

0.14.1 + cu117

龙卷风

6.1

tqdm

4.64.1

traitlets

5.1.1

变形金刚

4.30.2

typeguard

2.13.3

打字机

0.7.0

typing-inspect

0.9.0

typing_extensions

4.3.0

ujson

5.4.0

unattended-upgrades

0.1

urllib3

1.26.11

uvicorn

0.23.1

uvloop

0.17.0

virtualenv

20.16.3

愿景

0.7.5

wadllib

1.3.6

芥末酱

1.1.2

watchfiles

0.19.0

wcwidth

0.2.5

webencodings

0.5.1

websocket-client

0.58.0

尚

11.0.3

Werkzeug

2.0.3

whatthepatch

1.0.2中

轮

0.37.1

widgetsnbextension

3.6.1

wordcloud

1.9.2

打包

1.14.1

xgboost

1.7.6

xxhash

3.2.0

yapf

0.31.0

yarl

1.9.2

ydata-profiling

4.2.0

氧化锌碘仿糊

3.8.0

R库

R库的完全相同R库在运行时13.3 LTS砖。

Java和Scala库(Scala 2.12集群)

除了Java和Scala库砖运行时13.3 LTS,砖运行时13.3 LTS毫升包含以下jar:

CPU集群

组ID

工件ID

版本

com.typesafe.akka

akka-actor_2.12

2.5.23

ml.dmlc

xgboost4j-spark_2.12

1.7.3

ml.dmlc

xgboost4j_2.12

1.7.3

org.graphframes

graphframes_2.12

0.8.2-db2-spark3.4

org.mlflow

mlflow-client

2.5.0

org.scala-lang.modules

scala-java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0

GPU集群

组ID

工件ID

版本

com.typesafe.akka

akka-actor_2.12

2.5.23

ml.dmlc

xgboost4j-gpu_2.12

1.7.3

ml.dmlc

xgboost4j-spark-gpu_2.12

1.7.3

org.graphframes

graphframes_2.12

0.8.2-db2-spark3.4

org.mlflow

mlflow-client

2.5.0

org.scala-lang.modules

scala-java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0