创建、运行和管理Databricks作业

创造一个工作

1. 做以下其中一件事:

   • 点击工作流在侧栏中，单击．

   • 在侧栏中，单击新并选择工作．

   的任务选项卡将显示创建任务对话框。

   

2. 取代为你的工作添加一个名字…你的工作名称。

3. 中输入任务的名称任务名称字段。

4. 在类型下拉菜单，选择要运行的任务类型。看到任务类型选项．

5. 配置任务运行的集群。在集群下拉菜单，选择其中之一新的作业集群或现有的通用集群．

   • 新作业集群:点击编辑在集群下拉菜单并完成集群配置．

   • 现有通用集群:选择已存在的集群集群下拉菜单。若要在新页面中打开集群，请单击集群名称和描述右侧的图标。

   有关选BOB低频彩择和配置集群以运行任务的详细信息，请参见集群配置技巧．

6. 如需添加依赖库，单击+添加旁边依赖库．看到依赖库．

7. 您可以为任务传递参数。每种任务类型对格式化和传递参数都有不同的要求。

   • 笔记本:点击添加并指定要传递给任务的每个参数的键和值。属性手动运行任务时，可以覆盖或添加其他参数运行带有不同参数的作业选择。参数设置笔记本电脑部件由参数的键指定。使用任务参数变量作为参数值的一部分传递一组有限的动态值。

   • JAR:使用json格式的字符串数组来指定参数。这些字符串作为参数传递给主类的主方法。看到配置JAR作业参数．

   • 火花提交task:参数被指定为json格式的字符串数组。符合Apache Spark Spark -submit按照惯例，JAR路径后的参数被传递给主类的主方法。

   • Python脚本:使用json格式的字符串数组来指定参数。这些字符串作为参数传递，可以使用argparse模块。

   • Python轮:在参数下拉菜单，选择位置参数以json格式的字符串数组形式输入参数，或选择关键字参数>添加输入每个参数的键和值。位置参数和关键字参数都作为命令行参数传递给Python轮任务。

8. 要选择接收任务启动、成功或失败的通知，请单击+添加旁边电子邮件．在初始任务失败和任何后续重试时发送失败通知。

9. 单击，可选配置任务的重试策略+添加旁边重试．看到重试．

10. 若要为任务配置超时时间，请单击+添加旁边超时时间(秒)．看到超时．

11. 点击创建．

创建第一个任务后，您可以配置作业级别设置，例如通知、作业触发器和权限。看到编辑作业．

如需添加其他任务，单击在DAG视图。属性，则提供共享集群选项新作业集群对于前一个任务。还可以在创建或编辑任务时为每个任务配置集群。有关选BOB低频彩择和配置集群以运行任务的详细信息，请参见集群配置技巧．

任务类型选项

以下是可以添加到Databricks作业中的任务类型，以及不同任务类型的可用选项:

• 笔记本:在源下拉菜单，为笔记本选择一个位置;要么工作空间用于位于Databricks工作区文件夹中的笔记本或Git提供者用于位于远程Git存储库中的笔记本。

  工作空间:使用文件浏览器找到该笔记本，单击该笔记本名称，单击确认．

  Git提供者:点击编辑并输入Git存储库信息。看到在Databricks作业中使用版本控制的笔记本．

• JAR:指定主类．使用包含主方法的类的完全限定名，例如，org.apache.spark.examples.SparkPi．然后单击添加下依赖库添加运行任务所需的库。其中一个库必须包含主类。

  要了解BOB低频彩更多关于JAR任务的信息，请参见JAR的工作．

• 火花提交:在参数文本框，指定主类、库JAR的路径和所有参数，格式化为JSON字符串数组。下面的示例配置spark-submit任务来运行DFSReadWriteTest来自Apache Spark的例子:

  ［”——阶级”，“org.apache.spark.examples.DFSReadWriteTest”，“dbfs: / FileStore /图书馆/ spark_examples_2_12_3_1_1.jar”，“/ dbfs / databricks-datasets / README.md”，“/ FileStore / /输出例子/”］

  重要的

  有几个限制spark-submit任务:

  • 只能在新的集群上运行spark-submit任务。

  • Spark-submit不支持集群自动伸缩。要了解BOB低频彩有关自动缩放的更多信息，请参见集群自动定量．

  • Spark-submit不支持砖公用事业．要使用Databricks实用程序，请改用JAR任务。

• Python脚本:在源下拉菜单，也可以为Python脚本选择一个位置工作空间对于本地工作区中的脚本，或DBFS用于位于DBFS或云存储上的脚本。在路径文本框，输入Python脚本的路径:

  工作空间:在选择Python文件对话框，浏览到Python脚本，单击确认．你的脚本必须是砖回购．

  DBFS: DBFS或云存储上Python脚本的URI;例如,dbfs: / FileStore / myscript.py．

• Delta Live Tables管道:在管道下拉菜单，选择一个现有的Delta活动表管道。

  重要的

  方法只能使用触发的管道管道的任务。不支持将连续管道作为作业任务。要了解BOB低频彩有关触发管道和连续管道的更多信息，请参见连续和触发管道执行．

• Python轮:在包名文本框中，输入要导入的包。mywheel - 1.0 - py2.py3 any.whl——没有．在入口点文本框中，输入启动车轮时要调用的函数。点击添加下依赖库添加运行任务所需的库。

• 印度生物技术部:看在Databricks作业中使用dbt转换有关如何配置DBT任务的详细示例。

运行作业

1. 点击工作流在侧栏中。

2. 选择作业并单击运行选项卡。您可以立即运行作业，也可以将作业安排在稍后运行。

如果具有多个任务的作业中的一个或多个任务不成功，则可以重新运行不成功任务的子集。看到重新运行失败和跳过的任务．

视图的工作

点击工作流在侧栏中。出现Jobs列表。Jobs页面列出了所有已定义的作业、集群定义、计划(如果有的话)以及最后一次运行的结果。

您可以在“工作列表”中过滤工作:

• 使用关键字。如果您为这个工作空间启用了增加的作业限制特性，则只支持对名称、作业ID和作业标记字段进行关键字搜索。

• 只选择你拥有的工作。

• 选择您有权限访问的所有作业。访问此过滤器需要这样做作业访问控制启用。

• 使用标签．若要搜索仅使用密钥创建的标记，请在搜索框中键入密钥。要搜索用键和值创建的标记，可以根据键、值或键和值同时搜索。例如，对于带有键的标记部门还有价值金融，你可以搜索部门或金融寻找匹配的工作。要通过键和值进行搜索，输入键和值，用冒号分隔;例如,部门:财务．

还可以单击任何列标题，按该列对作业列表进行排序(降序或升序)。启用了增加的作业限制特性后，只能按顺序排序名字，工作ID,或创建通过．默认的排序方式是按名字按升序排列。

视图为作业运行

您可以查看您有权访问的所有作业的当前运行和最近完成的运行列表，包括由外部编排工具(如Apache workflow或Azure Data Factory)启动的运行。查看最近作业运行的列表。

1. 点击工作流在侧栏中。

2. 在名字列中，单击作业名称。的运行选项卡显示活动运行和已完成运行的矩阵和列表视图。

矩阵视图显示作业的运行历史记录，包括每个作业任务。

的运行总时长矩阵的行显示运行的总持续时间和运行的状态。控件中的工具条上方悬停，可以查看运行的详细信息，包括开始时间、持续时间和状态运行总时长行。

中的每个单元格任务行表示任务和任务对应的状态。若要查看每个任务的详细信息，包括开始时间、持续时间、集群和状态，请将鼠标悬停在该任务的单元格上。

作业运行和任务运行栏用颜色编码，以指示运行状态。成功运行为绿色，不成功运行为红色，跳过运行为粉红色。各个作业运行和任务运行栏的高度提供了运行持续时间的可视化指示。

运行列表视图显示:

• 运行的开始时间。

• 运行标识符。

• 运行是由作业计划或API请求触发，还是手动启动。

• 当前正在运行的作业所消耗的时间，或已完成运行的总运行时间。

• Spark日志的链接。

• 运行的状态等待，运行，跳过，成功，失败的，终止，终止，内部错误，定时出，取消了，取消,或等待为重试．

若要更改运行列表视图中显示的列，请单击列并选择或取消选择列。

查看作业运行的详细信息，单击该链接以在开始时间运行列表视图中的列。要查看此作业最近一次成功运行的详细信息，请单击转到最新的成功运行．

Databricks最多可维护60天的作业运行历史记录。如果需要保存作业运行，Databricks建议在结果过期之前导出结果。有关更多信息，请参见导出作业运行结果．

查看作业运行详情

作业运行详细信息页面包含作业输出和到日志的链接，其中包括关于作业运行中每个任务的成功或失败的信息。方法访问作业运行详细信息运行为工作付费。控件中查看作业运行的详细信息运行选项卡中，单击运行的链接开始时间运行列表视图中的列。回到运行选项卡，单击工作ID价值。

如果任务包含多个任务，单击任务，可查看任务运行详情，包括:

• 运行任务的集群

  • 任务的Spark UI

  • 任务日志

  • 任务的度量

单击工作ID值返回运行为工作付费。

查看最近的作业运行情况

您可以查看您有权访问的工作空间中所有作业的当前运行和最近完成的运行列表，包括由外部编排工具(如Apache workflow或Azure Data Factory)启动的运行。查看最近作业运行的列表。

1. 点击工作流在侧栏中。出现Jobs列表。

2. 单击工作运行选项卡显示作业运行列表。

的工作运行列表显示:

• 运行的开始时间。

  • 与运行关联的作业的名称。

  • 作业作为用户名运行。

  • 运行是由作业计划或API请求触发，还是手动启动。

  • 当前正在运行的作业所消耗的时间，或已完成运行的总运行时间。

  • 运行的状态等待，运行，跳过，成功，失败的，终止，终止，内部错误，定时出，取消了，取消,或等待为重试．

  • 运行的任何参数。

查看作业运行详细信息，单击开始时间列为运行。控件中的作业名称，查看作业详细信息工作列。

导出作业运行结果

您可以导出所有作业类型的笔记本运行结果和作业运行日志。

编辑作业

一些配置选项可用于作业，其他选项可用于个人任务．例如，只能在作业上设置最大并发运行，而必须为每个任务定义参数。

更改作业的配置。

1. 点击工作流在侧栏中。

2. 在名字列中，单击作业名称。

侧面面板显示工作细节．您可以更改作业的触发器、集群配置、通知最大并发运行数，以及添加或更改标记。如果作业访问控制启用后，还可以编辑作业权限。

编辑任务

设置任务配置项。

1. 点击工作流在侧栏中。

2. 在名字列中，单击作业名称。

3. 单击任务选项卡。

任务依赖关系

方法定义作业中任务的执行顺序取决于下拉菜单。您可以将此字段设置为作业中的一个或多个任务。

请注意

取决于如果作业仅由单个任务组成，则不可见。

配置任务依赖关系将创建任务执行的有向无环图(DAG)，这是在作业调度器中表示执行顺序的常用方法。例如，考虑以下由四个任务组成的作业:

• 任务1是根任务，不依赖于任何其他任务。

• 任务2和任务3依赖于任务1先完成。

• 最后，Task 4取决于Task 2和Task 3是否成功完成。

Databricks在运行下游任务之前运行上游任务，尽可能多地并行运行它们。下图说明了这些任务的处理顺序:

｛“MyJobID”：“我的工作- {{job_id}}”｝

克隆一份工作

通过克隆现有作业，可以快速创建新作业。克隆作业将创建与作业相同的副本(除了作业ID不同)。在作业页面上，单击更多…旁边的作业名称并选择克隆从下拉菜单。

克隆任务

可以通过克隆现有任务快速创建新任务:

1. 在作业页面上，单击任务选项卡。

2. 选择要克隆的任务。

3. 点击并选择克隆的任务．

删除作业

若要删除作业，请在作业页面上单击更多…旁边的作业名称并选择删除从下拉菜单。

删除任务

删除任务。

1. 单击任务选项卡。

2. 选择需要删除的任务。

3. 点击并选择删除任务．

复制任务路径

将路径复制到一个任务，例如，一个笔记本路径:

1. 单击任务选项卡。

2. 选择包含复制路径的任务。

3. 点击旁边的任务路径，将该路径复制到剪贴板。

最佳实践

瓦尔goodSparkContext＝SparkContext．getOrCreate（）瓦尔goodSparkSession＝SparkSession．构建器()。getOrCreate（）

试一试｛jobBody（）｝最后｛jobCleanup（）｝

瓦尔cleanupThread＝新线程｛覆盖def运行＝jobCleanup（）｝运行时．getRuntime．addShutdownHook（cleanupThread）

%sh ls /databricks/jars .

< >的依赖< groupId >org.apache.spark< / groupId >< artifactId >spark-core_2.11< / artifactId ><版本>tripwire> < /版本< >范围提供< / >范围< / >的依赖< >的依赖< groupId >org.apache.hadoop< / groupId >< artifactId >hadoop核心< / artifactId ><版本>1.2.1 "> < /版本< >范围提供< / >范围< / >的依赖

libraryDependencies+ =“org.apache.spark”％%“spark-core”％“tripwire”％“提供”libraryDependencies+ =“org.apache.hadoop”％%“hadoop核心”％“1.2.1”％“提供”