现在在公开预览:用Databricks作业编排多个任务

阅读文档

随着企业采取更多的商业智能(BI)和人工智能(AI)举措，需要简单、清晰和可靠编制的数据处理任务增加了。以前，Databricks客户必须选择是在一个笔记本上运行所有这些任务，还是使用另一个工作流工具，从而增加环境的整体复杂性。

今天，我们很高兴地宣布Databricks Jobs现在在公开预览中支持任务编排——能够以有向无循环图(DAG)的形式运行多个任务。作业是在Databricks集群中运行应用程序的一种非交互式方式，例如，您希望立即或定期运行的ETL作业或数据分析任务。在一个作业中编排多个任务的能力显著简化了数据和机器学习工作流的创建、管理和监控，而无需额外成本。这个新功能的好处包括:

简单的任务编排
现在，任何人都可以使用Databricks UI和API轻松地在DAG中编排任务。这使数据科学家和分析师能够构建和监控他们自己的工作，从而减轻了数据团队的负担，使关键的AI和ML计划更容易获得。下面的示例展示了一个作业，该作业运行七个笔记本来训练一个推荐机器学习模型。

在任何地方安排任何事情
作业编排完全集成在Databricks中，不需要额外的基础设施或DevOps资源。客户可以使用Jobs API或UI来创建和管理作业和功能，例如用于监控的电子邮件警报。您的数据团队不需要学习新的技能就可以从这个特性中获益。该特性还允许您编排Databricks之外的任何API，并跨所有云，例如从crm中提取数据。

下一个步骤
从7月13日开始，任务编排将以公共预览的形式推出到所有Databricks工作区。在接下来的几个月里，我们还将使您能够在作业中的任务之间重用集群，并重新启动DAG，以便它只再次运行以前失败的任务。

阅读更多关于Databricks作业中的任务编排和多个任务，然后转到工作空间的管理控制台免费启用该功能。