2018年5月
发布是阶段性的。您的Databricks帐户可能要到初始发布日期后一周才能更新。
一般数据保护条例(GDPR)
2018年5月22日至31日:2.72版
为了满足2018年5月25日生效的欧盟通用数据保护条例(GDPR)的要求,我们对Databricks平台进行了多项修改,以便在帐户和用户层面为您提供更多的数据保留控制。bob体育客户端下载更新包括:
集群删除:通过用户界面或集群API永久删除集群配置。看到意外终止.
工作区清除(2.71版发布):永久删除工作区对象,例如整个笔记本、单个笔记本单元格、单个笔记本注释和笔记本修订历史。看到清除工作区存储.
笔记本修订历史清洗:
帐户管理功能允许您取消订阅和删除您的帐户:
取消您的Databricks订阅。默认情况下,永久数据清除将在取消工作区订阅后30天发生。
取消与您的帐户所有者用户名相关联的任何社区版订阅,与取消免费试用或付费标准Databricks订阅分开。
删除您的Databricks帐户,包括登录凭据和计费信息。
详细信息请参见管理您的订阅.
HorovodEstimator
2018年5月29日:2.72版
为HorovodEstimator添加了文档和笔记本,这是一个mllib风格的估计器API,利用Uber的Horovod框架。HorovodEstimator促进了Spark DataFrames上深度神经网络的分布式、多gpu训练,简化了Spark中的ETL与TensorFlow中的模型训练的集成。
MLeap ML模型导出
2018年5月22日至31日:2.72版
增加了在Databricks上使用MLeap的文档和笔记本。MLeap允许您将机器学习管道从Apache Spark和scikit-learn部署到可移植的格式和执行引擎。看到MLeap ML模型导出.
Doc网站搜索
2018年5月22日
我们已经用更好的搜索工具取代了我们的文档网站搜索。在接下来的几周里,你会看到更多的搜索改进。
请注意
如果在部署新搜索后不久尝试搜索,可能会导致搜索中断。只需清除浏览器缓存就可以看到新的搜索体验。
Databricks运行时4.1机器学习(测试版)
2018年5月18日
Databricks Runtime ML (Beta)为机器学习和数据科学提供了一个现成的环境。它包含多个流行的库,包括TensorFlow、Keras和XGBoost。它还支持使用Horovod的分布式TensorFlow训练。
Databricks Runtime ML允许您使用分布式TensorFlow训练所需的所有库启动Databricks集群。它确保了集群中包含的库的兼容性(例如TensorFlow和CUDA / cuDNN之间),并且与使用init脚本相比,大大减少了集群启动时间。
请注意
在GA之后,Databricks运行时4.1 ML将需要一个包含Databricks操作安全包的Databricks计划。Databricks Runtime 4.1 ML目前在标准计划中可用,没有Operational Security包。它在社区版帐户上不可用。还要注意,在beta测试期间,在GA之前,操作安全需求可以在任何时候强制执行。如果是,我们会提前沟通变更。
参见完整的发行说明Databricks运行时4.1 ML(不支持).
新的GPU集群类型
2018年5月10日- 5月17日:2.71版
我们很高兴地宣布在Databricks集群上支持AWS EC2 P3实例类型。P3实例提供了业界领先的gpu来支持图像处理、文本分析和其他具有计算挑战性且需要卓越性能的机器学习和深度学习任务。作为新实例类型推出的一部分,我们已经显著降低了运行在P2实例上的集群的成本。
Databricks还提供了预装的NVIDIA驱动程序和为gpu配置的库,以及一些流行的深度学习库的入门材料。
参见:
保密管理
2018年5月10日- 5月30日:2.71版
Databricks现在提供了强大的工具来管理向外部数据源进行身份验证所需的凭据。使用Databricks秘密管理在笔记本和作业中存储和引用您的凭据,而不是直接将凭据输入笔记本。要管理秘密,可以使用数据库命令行设置和文档访问秘密API 2.0.
请注意
保密管理要求Databricks Runtime 4.0及以上版本,Databricks CLI 0.7.1及以上版本。该功能将在5月份逐步推广到所有Databricks帐户。
看到保密管理.
集群将
2018年5月10日- 5月17日:2.71版
您现在可以将一个集群固定到Clusters列表中。这使您可以保留终止时间超过30天的集群的配置。
此外,集群页面现在显示在30天内终止的所有集群(从7天增加)。
看到固定一个集群.
集群自动启动
2018年5月10日- 5月17日:2.71版
在此版本之前,作业计划运行终止
集群失败了。对于在Databricks 2.71及更高版本中创建的集群,来自JDBC/ODBC接口的命令或分配给已终止的现有集群的作业运行会自动重新启动该集群。看到JDBC连接而且创造一个工作.
自动启动允许您将集群配置为自动终止,而不需要手动干预重新启动集群以执行预定作业。此外,您还可以通过调度在指定时间重新启动终止的集群的作业来调度集群初始化。
强制执行集群访问控制,并像往常一样检查作业所有者权限。
工作区中清除
2018年5月10日- 5月17日:2.71版
作为我们不断努力遵守欧盟通用数据保护条例(GDPR)的一部分,我们增加了清除工作区对象的能力,例如整个笔记本、单个笔记本单元格、单个笔记本注释和笔记本修订历史。我们将在未来几周发布更多功能和文档,以支持GDPR合规。
看到的:清除工作区存储.
Databricks Delta更新
2018年5月8日
Databricks运行时4.1包括对Databricks Delta的重大升级。Databricks强烈建议所有达美客户升级到新的运行时。这个发行版仍然处于私有预览,但是它代表了即将到来的GA发行版的一个候选发行版。
有关更多信息,请参见Databricks运行时4.1(不支持)而且三角洲湖是什么?.