在砖使用Python轮工作

一条巨蟒是一种标准的方式打包和分发文件要求运行Python应用程序。使用Python轮任务时,您可以确保快速、可靠的安装Python代码在你的砖的工作。本文提供了一个示例创建一个Python车轮和工作运行应用程序打包在车轮。在本例中,您将:

  • 创建Python文件定义一个示例应用程序。

  • 包的示例文件到一个Python轮。

  • 创建一个工作运行Python轮。

  • 运行工作,查看结果。

在你开始之前

你需要完成这个示例如下:

  • Python3

  • Pythonsetuptool包。您可以使用皮普安装这些包。例如,您可以运行下面的命令来安装这些包:

    pip安装setuptools轮

步骤1:创建一个本地目录的例子

创建一个本地目录来保存示例代码和生成的工件,例如,databricks_wheel_test

步骤2:创建Python脚本示例

以下Python示例是一个简单的脚本,它读取输入参数和输出参数。复制这个脚本并将其保存到一个路径my_test_code / __main__.py在您在前面步骤中创建的目录。

”“”Python的入口点”“”进口sysdef主要():#这个方法将打印所提供的参数打印(“你好我函数”)打印(的参数:)打印(sysargv)如果__name__= =“__main__ ':主要()

步骤3:创建一个元数据文件包

以下文件包含元数据描述了包。保存到一个路径my_test_code / __init__ . py在您在步骤1中创建的目录。

__version__=“0.0.1”__author__=“砖”

步骤4:创建轮

Python工件转换成一个轮子需要指定包元数据,如包名称和入口点。下面的脚本定义元数据。

请注意

entry_points这个脚本中定义用于砖工作流的运行方案。在每个值entry_points,之前的值=(在这个例子中,运行)是入口点的名称,用于配置轮任务。

  1. 这个脚本保存在一个文件命名setup . py在根目录中创建的步骤1:

setuptools进口设置,find_packages进口my_test_code设置(的名字=“my_test_package”,版本=my_test_code__version__,作者=my_test_code__author__,url=“//www.neidfyre.com”,author_email=“john.doe@www.neidfyre.com”,描述=“我的测试轮”,=find_packages(包括=(“my_test_code”]),entry_points={“group_1”:运行= my_test_code.__main__:主要的},install_requires=(“setuptools”])
  1. 改变成您在步骤1中创建的目录,并运行以下命令代码打包成轮分布:

    python3设置。py bdist_wheel

这个命令创建轮并保存dist / my_test_package-0.0.1-py3.none-any.whl文件在你的目录。

第5步。创建一个砖工作运行的Python轮

  1. 去你的砖的着陆页,做以下之一:

    • 在侧边栏中,单击工作图标工作流并点击创建工作按钮

    • 在侧边栏中,单击新图标并选择工作从菜单中。

  2. 在任务出现在对话框任务选项卡中,取代添加一个名称为你的工作…对你的工作名称,例如,Python例子

  3. 任务名称任务,输入一个名称,例如,python_wheel_task

  4. 类型中,选择Python轮

  5. 包名,输入my_test_package。包的名称是分配到的值的名字变量setup . py脚本。

  6. 入口点,输入运行。入口点是中指定的值之一entry_points收集的setup . py脚本。在这个例子中,运行是唯一的入口点的定义。

  7. 点击添加依赖库。在添加依赖库对话框,在库类型,点击Python Whl。点击下降WHL这里并选择my_test_package-0.0.1-py3-none-any.whl在步骤4中创建的文件。

  8. 点击添加

  9. 参数中,选择位置参数关键字参数进入每个参数的键和值。这两个位置参数和关键字参数都作为命令行参数传递给Python轮任务。

    • 进入位置参数,输入参数作为json格式的字符串数组,例如:["第一参数”、“第一值”、“第二参数”、“第二价值”)

    • 进入关键字参数,点击+添加并输入一个键和值。点击+添加再一次输入多个参数。

  10. 点击保存任务

第六步:运行作业,查看工作运行的细节

点击现在运行按钮运行工作流。查看细节的运行,点击查看运行触发运行弹出或点击链接开始时间列的运行工作运行视图。

运行完成后,输出显示的输出面板,包括参数传递给任务。

下一个步骤

想要了BOB低频彩解更多关于创建和运行数据砖工作,明白了创建和运行数据砖的工作