编排与Apache气流砖工作

创建一个笔记本

这个例子使用一个笔记本,其中包含两个单元:

• 第一个单元格包含一个砖实用程序的文本小部件定义一个变量命名问候设置为默认值世界。

• 第二个单元格打印的值问候变量的前缀你好。

创建笔记本:

1. 去你的砖着陆页面并选择创建空白笔记本,或点击新在侧边栏并选择笔记本。的创建笔记本对话框出现了。

2. 在创建笔记本对话框中,给你的笔记本一个名字,例如你好气流。集默认的语言来Python。离开集群设置为默认值。您将配置集群创建任务时使用这个笔记本。

3. 点击创建。

4. 复制下面的Python代码粘贴到第一个单元格的笔记本。

   dbutils。小部件。文本(“问候”,“世界”,“问候”)问候=dbutils。小部件。得到(“问候”)

5. 添加一个新的细胞低于第一个单元格和下面的Python代码复制并粘贴到新的细胞:

   打印(“你好{}”。格式(问候))

创建一个工作

1. 点击工作流在侧边栏。

2. 点击。

   的任务选项卡显示了创建任务对话框。

3. 取代添加一个名称为你的工作…对你的工作名称。

4. 在任务名称字段中,输入任务的名称,例如,greeting-task。

5. 在类型下拉,选择笔记本。

6. 使用文件浏览器来找到您创建的笔记本,点击笔记本名称,点击确认。

7. 点击添加下参数。在关键字段中,输入问候。在价值字段中,输入气流用户。

8. 点击创建任务。

运行作业

立即运行任务,点击在右上角。您还可以通过单击运行工作运行选项卡并单击现在运行在活跃的运行表。

查看运行细节

1. 单击运行选项卡并单击查看详细信息在活跃的运行表或完成运行60天(过去)表。

2. 复制工作ID价值。这个值需要触发工作从气流。

创建一个砖个人访问令牌的气流

气流连接使用砖砖个人访问令牌(PAT)。看到个人访问令牌为创建一个帕特的说明。

配置一个砖连接

砖的气流安装包含一个默认的连接。更新连接连接到您的工作空间中使用上面创建的个人访问令牌:

1. 在一个浏览器窗口,打开http://localhost: 8080 /联系/清单/。

2. 下康涅狄格州ID,定位databricks_default并单击编辑记录按钮。

3. 取代的价值主机场的工作区实例名你的砖部署。

4. 在额外的字段中,输入下列值:

   {“令牌”:“PERSONAL_ACCESS_TOKEN”}

   取代PERSONAL_ACCESS_TOKEN与你的砖个人访问令牌。

创建一个新的气流DAG

你在一个Python文件定义一个气流DAG。创建一个DAG触发的例子笔记本工作:

1. 在文本编辑器中或者IDE,创建一个新文件命名databricks_dag.py用下面的内容:

   从气流进口DAG从airflow.providers.databricks.operators.databricks进口DatabricksRunNowOperator从airflow.utils.dates进口days_agodefault_args={“主人”:“气流”}与DAG(“databricks_dag”,start_date=days_ago(2),schedule_interval=没有一个,default_args=default_args)作为dag:opr_run_now=DatabricksRunNowOperator(task_id=“run_now”,databricks_conn_id=“databricks_default”,job_id=JOB_ID)

   取代JOB_ID早些时候与工作ID的值保存。

2. 保存文件气流/无进取心的人目录中。气流自动读取和安装DAG文件存储在气流/无进取心的人。

安装和验证DAG的气流

触发并验证的DAG气流界面:

1. 在一个浏览器窗口,打开http://localhost: 8080 / home。气流熟练的技艺屏幕上出现了。

2. 定位databricks_dag并单击暂停/ Unpause DAG切换unpause DAG。

3. 触发DAG点击开始按钮。

4. 点击运行运行列视图状态和运行的细节。