砖的运行时12.2 LTS机器学习
砖的运行时12.2 LTS机器学习提供了一个准备好了环境科学基于机器学习和数据砖运行时12.2 LTS。砖运行时毫升含有许多流行的机器学习库,包括TensorFlow PyTorch, XGBoost。砖运行时毫升包括AutoML,一个工具来自动训练机器学习管道。砖运行时毫升也支持使用Horovod分布深度学习培训。
更多信息,包括指令创建砖集群运行时毫升、明白了砖运行时机器学习。
新特性和改进
砖运行时12.2 LTS毫升是砖运行时的12.2 LTS之上。在砖有什么新信息运行时12.2 LTS,包括Apache火花MLlib和SparkR,看到砖运行时12.2 LTS发行说明。
系统环境
砖的系统环境运行时12.2 LTS毫升不同于砖运行时12.2 LTS如下:
DBUtils运行时毫升不包括:砖库工具(dbutils.library)。使用
%皮普而不是命令。看到Notebook-scoped Python库。GPU集群,砖包括以下运行时毫升NVIDIA GPU的库:
CUDA 11.3
cuDNN 8.0.5.39
NCCL 2.9.9
TensorRT 7.2.2
砖运行时12.2 LTS毫升包括XGBoost 1.7.2,不支持GPU集群计算能力5.2甚至更低。
库
下面列表中包含的库砖运行时12.2 LTS毫升,不同于那些包含在运行时12.2 LTS砖。
Python库
砖运行时12.2 LTS毫升使用Virtualenv Python包管理,包括许多流行毫升包。
除了指定的包在下面几节中,砖运行时12.2 LTS毫升还包括以下方案:
hyperopt 0.2.7 + db4
sparkdl 2.3.0-db3
automl 1.16.0
复制的砖在本地Python运行时毫升Python环境的虚拟环境,下载requirements-12.2.txt文件和运行皮普安装- rrequirements-12.2.txt。这个命令安装所有的砖运行时毫升使用开源库,但没有安装库由砖等bob下载地址databricks-automl,databricks-feature-store,或砖叉hyperopt。
Python库对CPU集群
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
|---|---|---|---|---|---|
absl-py |
1.0.0 |
argon2-cffi |
21.3.0 |
argon2-cffi-bindings |
21.2.0 |
阿斯特 |
0.8.1 |
asttokens |
2.0.5 |
astunparse |
1.6.3 |
attrs |
21.4.0 |
azure-core |
1.26.3 |
azure-cosmos |
4.2.0 |
backcall |
0.2.0 |
backports.entry-points-selectable |
1.2.0 |
bcrypt |
3.2.0 |
beautifulsoup4 |
4.11.1 |
黑色的 |
22.3.0 |
漂白剂 |
4.1.0 |
bli |
0.7.9 |
boto3 |
1.21.32 |
botocore |
1.24.32 |
cachetools |
4.2.2 |
目录 |
2.0.8 |
category-encoders |
2.5.1.post0 |
certifi |
2021.10.8 |
cffi |
1.15.0 |
chardet |
4.0.0 |
charset-normalizer |
2.0.4 |
点击 |
8.0.4 |
cloudpickle |
2.0.0 |
cmdstanpy |
1.1.0 |
糖果 |
0.0.4 |
configparser |
5.2.0 |
convertdate |
测试盒框 |
密码学 |
3.4.8 |
周期计 |
0.11.0 |
cymem |
2.0.7 |
Cython |
0.29.28 |
databricks-automl-runtime |
0.2.15 |
databricks-cli |
0.17.4 |
databricks-feature-store |
0.10.0 |
dbl-tempo |
0.1.12 |
dbus-python |
1.2.16 |
debugpy |
1.5.1 |
装饰 |
5.1.1 |
defusedxml |
是0.7.1 |
莳萝 |
0.3.4 |
diskcache |
5.4.0 |
distlib |
0.3.6 |
docstring-to-markdown |
0.11 |
entrypoints |
0.4 |
ephem |
4.1.4 |
执行 |
0.8.3 |
facets-overview |
1.0.0 |
fastjsonschema |
2.16.2 |
fasttext |
0.9.2 |
filelock |
3.6.0 |
瓶 |
1.1.2 |
flatbuffers |
23.1.21 |
fonttools |
4.25.0 |
fsspec |
2022.2.0 |
未来 |
0.18.2 |
使惊讶 |
0.4.0 |
gitdb |
4.0.10 |
GitPython |
3.1.27 |
google-auth |
1.33.0 |
google-auth-oauthlib |
0.4.6 |
google-pasta |
0.2.0 |
grpcio |
1.42.0 |
gunicorn |
20.1.0 |
gviz-api |
1.10.0 |
h5py |
3.6.0 |
hijri-converter |
2.2.4 |
假期 |
0.18 |
horovod |
0.27.0 |
htmlmin |
0.1.12 |
huggingface-hub |
0.12.0 |
idna |
3.3 |
ImageHash |
4.3.1 |
imbalanced-learn |
0.10.1 |
importlib-metadata |
4.11.3 |
ipykernel |
6.15.3 |
ipython |
8.5.0 |
ipython-genutils |
0.2.0 |
ipywidgets |
7.7.2 |
isodate |
0.6.1 |
itsdangerous |
2.0.1 |
绝地武士 |
0.18.1 |
Jinja2 |
14 |
jmespath |
0.10.0 |
joblib |
1.1.1 |
joblibspark |
0.5.1 |
jsonschema |
4.4.0 |
jupyter-client |
6.1.12 |
jupyter_core |
4.11.2 |
jupyterlab-pygments |
0.1.2 |
jupyterlab-widgets |
1.0.0 |
keras |
2.11.0 |
kiwisolver |
1.3.2 |
korean-lunar-calendar |
0.3.1 |
langcodes |
3.3.0 |
libclang |
15.0.6.1 |
lightgbm |
3.3.4 |
llvmlite |
0.38.0 |
LunarCalendar |
0.0.9 |
尖吻鲭鲨 |
1.2.0 |
减价 |
3.3.4 |
MarkupSafe |
2.0.1 |
matplotlib |
3.5.1 |
matplotlib-inline |
0.1.2 |
麦凯布 |
0.7.0 |
使走调 |
0.8.4 |
mleap |
0.20.0 |
mlflow-skinny |
2.1.1 |
多重方法 |
1.9.1 |
murmurhash |
1.0.9 |
mypy-extensions |
0.4.3 |
nbclient |
0.5.13 |
nbconvert |
6.4.4 |
nbformat |
5.3.0 |
nest-asyncio |
1.5.5 |
networkx |
2.7.1 |
nltk |
3.7 |
nodeenv |
1.7.0 |
笔记本 |
6.4.8 |
numba |
0.55.1 |
numpy |
1.21.5 |
oauthlib |
3.2.0 |
opt-einsum |
3.3.0 |
包装 |
21.3 |
熊猫 |
1.4.2 |
pandas-profiling |
操作 |
pandocfilters |
1.5.0 |
paramiko |
2.9.2 |
parso |
0.8.3 |
pathspec |
0.9.0 |
表“感觉” |
0.10.1 |
容易受骗的人 |
0.5.2 |
petastorm |
0.12.1 |
pexpect |
4.8.0 |
phik |
0.12.3 |
pickleshare |
0.7.5 |
枕头 |
9.0.1 |
皮普 |
21.2.4 |
bob体育客户端下载platformdirs |
2.6.2 |
情节 |
5.6.0 |
pluggy |
1.0.0 |
pmdarima |
2.0.2 |
棒 |
3.0.8 |
prometheus-client |
0.13.1 |
prompt-toolkit |
3.0.20 |
先知 |
1.1.1 |
protobuf |
3.19.4 |
psutil |
5.8.0 |
psycopg2 |
2.9.3 |
ptyprocess |
0.7.0 |
pure-eval |
0.2.2 |
pyarrow |
7.0.0 |
pyasn1 |
0.4.8 |
pyasn1-modules |
0.2.8 |
pybind11 |
2.10.3 |
pycparser |
2.21 |
pydantic |
1.10.2 |
pyflakes |
2.5.0 |
Pygments |
2.11.2 |
PyGObject |
3.36.0 |
PyJWT |
2.6.0 |
PyMeeus |
0.5.12 |
PyNaCl |
1.5.0 |
pyodbc |
4.0.32 |
pyparsing |
3.0.4 |
pyright |
1.1.283 |
pyrsistent |
0.18.0 |
python-dateutil |
2.8.2 |
python编辑器 |
1.0.4 |
python-lsp-jsonrpc |
1.0.0 |
python-lsp-server |
1.6.0 |
pytz |
2021.3 |
PyWavelets |
1.3.0 |
PyYAML |
6.0 |
pyzmq |
22.3.0 |
正则表达式 |
2022.3.15 |
请求 |
2.27.1 |
requests-oauthlib |
1.3.1 |
requests-unixsocket |
0.2.0 |
绳子 |
0.22.0 |
rsa |
4.7.2 |
s3transfer |
0.5.0 |
scikit-learn |
1.0.2中 |
scipy |
1.7.3 |
seaborn |
0.11.2 |
Send2Trash |
1.8.0 |
setuptools |
61.2.0 |
setuptools-git |
1.2 |
世鹏科技电子 |
0.41.0 |
simplejson |
3.17.6 |
六个 |
1.16.0 |
切片机 |
0.0.7 |
smart-open |
5.2.1 |
smmap |
5.0.0 |
soupsieve |
2.3.1 |
宽大的 |
3.4.4 |
spacy-legacy |
3.0.12 |
spacy-loggers |
1.0.4 |
spark-tensorflow-distributor |
1.0.0 |
sqlparse |
0.4.2 |
srs |
2.4.5 |
ssh-import-id |
5.10 |
堆栈数据 |
0.2.0 |
statsmodels |
0.13.2 |
汇总 |
0.8.9 |
tangled-up-in-unicode |
0.2.0 |
韧性 |
8.0.1 |
tensorboard |
2.11.2 |
tensorboard-data-server |
0.6.1 |
tensorboard-plugin-profile |
2.11.1 |
tensorboard-plugin-wit |
1.8.1 |
tensorflow-cpu |
2.11.0 |
tensorflow-estimator |
2.11.0 |
tensorflow-io-gcs-filesystem |
0.30.0 |
termcolor |
2.2.0 |
terminado |
0.13.1 |
testpath |
0.5.0 |
thinc |
8.1.7 |
threadpoolctl |
2.2.0 |
tokenize-rt |
4.2.1 |
分词器 |
0.13.2 |
tomli |
1.2.2 |
火炬 |
1.13.1 + cpu |
torchvision |
0.14.1 + cpu |
龙卷风 |
6.1 |
tqdm |
4.64.0 |
traitlets |
5.1.1 |
变形金刚 |
4.25.1 |
typeguard |
2.13.3 |
打字机 |
0.7.0 |
typing_extensions |
以下4.4.1 |
ujson |
5.1.0 |
unattended-upgrades |
0.1 |
urllib3 |
1.26.9 |
virtualenv |
20.8.0 |
愿景 |
0.7.5 |
芥末酱 |
0.10.1 |
wcwidth |
0.2.5 |
webencodings |
0.5.1 |
websocket-client |
0.58.0 |
Werkzeug |
2.0.3 |
whatthepatch |
1.0.4 |
轮 |
0.37.1 |
widgetsnbextension |
3.6.1 |
打包 |
1.12.1 |
xgboost |
1.7.2 |
yapf |
0.31.0 |
氧化锌碘仿糊 |
3.7.0 |
Python库在GPU集群
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
|---|---|---|---|---|---|
absl-py |
1.0.0 |
argon2-cffi |
21.3.0 |
argon2-cffi-bindings |
21.2.0 |
阿斯特 |
0.8.1 |
asttokens |
2.0.5 |
astunparse |
1.6.3 |
attrs |
21.4.0 |
azure-core |
1.26.3 |
azure-cosmos |
4.2.0 |
backcall |
0.2.0 |
backports.entry-points-selectable |
1.2.0 |
bcrypt |
3.2.0 |
beautifulsoup4 |
4.11.1 |
黑色的 |
22.3.0 |
漂白剂 |
4.1.0 |
bli |
0.7.9 |
boto3 |
1.21.32 |
botocore |
1.24.32 |
cachetools |
4.2.2 |
目录 |
2.0.8 |
category-encoders |
2.5.1.post0 |
certifi |
2021.10.8 |
cffi |
1.15.0 |
chardet |
4.0.0 |
charset-normalizer |
2.0.4 |
点击 |
8.0.4 |
cloudpickle |
2.0.0 |
cmdstanpy |
1.1.0 |
糖果 |
0.0.4 |
configparser |
5.2.0 |
convertdate |
测试盒框 |
密码学 |
3.4.8 |
周期计 |
0.11.0 |
cymem |
2.0.7 |
Cython |
0.29.28 |
databricks-automl-runtime |
0.2.15 |
databricks-cli |
0.17.4 |
databricks-feature-store |
0.10.0 |
dbl-tempo |
0.1.12 |
dbus-python |
1.2.16 |
debugpy |
1.5.1 |
装饰 |
5.1.1 |
defusedxml |
是0.7.1 |
莳萝 |
0.3.4 |
diskcache |
5.4.0 |
distlib |
0.3.6 |
docstring-to-markdown |
0.11 |
entrypoints |
0.4 |
ephem |
4.1.4 |
执行 |
0.8.3 |
facets-overview |
1.0.0 |
fastjsonschema |
2.16.2 |
fasttext |
0.9.2 |
filelock |
3.6.0 |
瓶 |
1.1.2 |
flatbuffers |
23.1.21 |
fonttools |
4.25.0 |
fsspec |
2022.2.0 |
未来 |
0.18.2 |
使惊讶 |
0.4.0 |
gitdb |
4.0.10 |
GitPython |
3.1.27 |
google-auth |
1.33.0 |
google-auth-oauthlib |
0.4.6 |
google-pasta |
0.2.0 |
grpcio |
1.42.0 |
gunicorn |
20.1.0 |
gviz-api |
1.10.0 |
h5py |
3.6.0 |
hijri-converter |
2.2.4 |
假期 |
0.18 |
horovod |
0.27.0 |
htmlmin |
0.1.12 |
huggingface-hub |
0.12.0 |
idna |
3.3 |
ImageHash |
4.3.1 |
imbalanced-learn |
0.10.1 |
importlib-metadata |
4.11.3 |
ipykernel |
6.15.3 |
ipython |
8.5.0 |
ipython-genutils |
0.2.0 |
ipywidgets |
7.7.2 |
isodate |
0.6.1 |
itsdangerous |
2.0.1 |
绝地武士 |
0.18.1 |
Jinja2 |
14 |
jmespath |
0.10.0 |
joblib |
1.1.1 |
joblibspark |
0.5.1 |
jsonschema |
4.4.0 |
jupyter-client |
6.1.12 |
jupyter_core |
4.11.2 |
jupyterlab-pygments |
0.1.2 |
jupyterlab-widgets |
1.0.0 |
keras |
2.11.0 |
kiwisolver |
1.3.2 |
korean-lunar-calendar |
0.3.1 |
langcodes |
3.3.0 |
libclang |
15.0.6.1 |
lightgbm |
3.3.4 |
llvmlite |
0.38.0 |
LunarCalendar |
0.0.9 |
尖吻鲭鲨 |
1.2.0 |
减价 |
3.3.4 |
MarkupSafe |
2.0.1 |
matplotlib |
3.5.1 |
matplotlib-inline |
0.1.2 |
麦凯布 |
0.7.0 |
使走调 |
0.8.4 |
mleap |
0.20.0 |
mlflow-skinny |
2.1.1 |
多重方法 |
1.9.1 |
murmurhash |
1.0.9 |
mypy-extensions |
0.4.3 |
nbclient |
0.5.13 |
nbconvert |
6.4.4 |
nbformat |
5.3.0 |
nest-asyncio |
1.5.5 |
networkx |
2.7.1 |
nltk |
3.7 |
nodeenv |
1.7.0 |
笔记本 |
6.4.8 |
numba |
0.55.1 |
numpy |
1.21.5 |
oauthlib |
3.2.0 |
opt-einsum |
3.3.0 |
包装 |
21.3 |
熊猫 |
1.4.2 |
pandas-profiling |
操作 |
pandocfilters |
1.5.0 |
paramiko |
2.9.2 |
parso |
0.8.3 |
pathspec |
0.9.0 |
表“感觉” |
0.10.1 |
容易受骗的人 |
0.5.2 |
petastorm |
0.12.1 |
pexpect |
4.8.0 |
phik |
0.12.3 |
pickleshare |
0.7.5 |
枕头 |
9.0.1 |
皮普 |
21.2.4 |
bob体育客户端下载platformdirs |
2.6.2 |
情节 |
5.6.0 |
pluggy |
1.0.0 |
pmdarima |
2.0.2 |
棒 |
3.0.8 |
prompt-toolkit |
3.0.20 |
先知 |
1.1.1 |
protobuf |
3.19.4 |
psutil |
5.8.0 |
psycopg2 |
2.9.3 |
ptyprocess |
0.7.0 |
pure-eval |
0.2.2 |
pyarrow |
7.0.0 |
pyasn1 |
0.4.8 |
pyasn1-modules |
0.2.8 |
pybind11 |
2.10.3 |
pycparser |
2.21 |
pydantic |
1.10.2 |
pyflakes |
2.5.0 |
Pygments |
2.11.2 |
PyGObject |
3.36.0 |
PyJWT |
2.6.0 |
PyMeeus |
0.5.12 |
PyNaCl |
1.5.0 |
pyodbc |
4.0.32 |
pyparsing |
3.0.4 |
pyright |
1.1.283 |
pyrsistent |
0.18.0 |
python-dateutil |
2.8.2 |
python编辑器 |
1.0.4 |
python-lsp-jsonrpc |
1.0.0 |
python-lsp-server |
1.6.0 |
pytz |
2021.3 |
PyWavelets |
1.3.0 |
PyYAML |
6.0 |
pyzmq |
22.3.0 |
正则表达式 |
2022.3.15 |
请求 |
2.27.1 |
requests-oauthlib |
1.3.1 |
requests-unixsocket |
0.2.0 |
绳子 |
0.22.0 |
rsa |
4.7.2 |
s3transfer |
0.5.0 |
scikit-learn |
1.0.2中 |
scipy |
1.7.3 |
seaborn |
0.11.2 |
Send2Trash |
1.8.0 |
setuptools |
61.2.0 |
setuptools-git |
1.2 |
世鹏科技电子 |
0.41.0 |
simplejson |
3.17.6 |
六个 |
1.16.0 |
切片机 |
0.0.7 |
smart-open |
5.2.1 |
smmap |
5.0.0 |
soupsieve |
2.3.1 |
宽大的 |
3.4.4 |
spacy-legacy |
3.0.12 |
spacy-loggers |
1.0.4 |
spark-tensorflow-distributor |
1.0.0 |
sqlparse |
0.4.2 |
srs |
2.4.5 |
ssh-import-id |
5.10 |
堆栈数据 |
0.2.0 |
statsmodels |
0.13.2 |
汇总 |
0.8.9 |
tangled-up-in-unicode |
0.2.0 |
韧性 |
8.0.1 |
tensorboard |
2.11.2 |
tensorboard-data-server |
0.6.1 |
tensorboard-plugin-profile |
2.11.1 |
tensorboard-plugin-wit |
1.8.1 |
tensorflow |
2.11.0 |
tensorflow-estimator |
2.11.0 |
tensorflow-io-gcs-filesystem |
0.30.0 |
termcolor |
2.2.0 |
terminado |
0.13.1 |
testpath |
0.5.0 |
thinc |
8.1.7 |
threadpoolctl |
2.2.0 |
tokenize-rt |
4.2.1 |
分词器 |
0.13.2 |
tomli |
1.2.2 |
火炬 |
1.13.1 + cu117 |
torchvision |
0.14.1 + cu117 |
龙卷风 |
6.1 |
tqdm |
4.64.0 |
traitlets |
5.1.1 |
变形金刚 |
4.25.1 |
typeguard |
2.13.3 |
打字机 |
0.7.0 |
typing_extensions |
以下4.4.1 |
ujson |
5.1.0 |
unattended-upgrades |
0.1 |
urllib3 |
1.26.9 |
virtualenv |
20.8.0 |
愿景 |
0.7.5 |
芥末酱 |
0.10.1 |
wcwidth |
0.2.5 |
webencodings |
0.5.1 |
websocket-client |
0.58.0 |
Werkzeug |
2.0.3 |
whatthepatch |
1.0.4 |
轮 |
0.37.1 |
widgetsnbextension |
3.6.1 |
打包 |
1.12.1 |
xgboost |
1.7.2 |
yapf |
0.31.0 |
氧化锌碘仿糊 |
3.7.0 |
Java和Scala库(Scala 2.12集群)
除了Java和Scala库砖运行时12.2 LTS,砖运行时12.2 LTS毫升包含以下jar:
CPU集群
组ID |
工件ID |
版本 |
|---|---|---|
com.typesafe.akka |
akka-actor_2.12 |
2.5.23 |
ml.combust.mleap |
mleap-databricks-runtime_2.12 |
v0.20.0-db1 |
ml.dmlc |
xgboost4j-spark_2.12 |
1.7.3 |
ml.dmlc |
xgboost4j_2.12 |
1.7.3 |
org.graphframes |
graphframes_2.12 |
0.8.2-db1-spark3.2 |
org.mlflow |
mlflow-client |
2.1.1 |
org.scala-lang.modules |
scala-java8-compat_2.12 |
0.8.0 |
org.tensorflow |
spark-tensorflow-connector_2.12 |
1.15.0 |
GPU集群
组ID |
工件ID |
版本 |
|---|---|---|
com.typesafe.akka |
akka-actor_2.12 |
2.5.23 |
ml.combust.mleap |
mleap-databricks-runtime_2.12 |
v0.20.0-db1 |
ml.dmlc |
xgboost4j-gpu_2.12 |
1.7.3 |
ml.dmlc |
xgboost4j-spark-gpu_2.12 |
1.7.3 |
org.graphframes |
graphframes_2.12 |
0.8.2-db1-spark3.2 |
org.mlflow |
mlflow-client |
2.1.1 |
org.scala-lang.modules |
scala-java8-compat_2.12 |
0.8.0 |
org.tensorflow |
spark-tensorflow-connector_2.12 |
1.15.0 |