dbx的砖实验室

步骤1:创建一个sbt-based Scala项目

1. 在IntelliJ IDEA,取决于你的视图,单击项目>新项目orgydF4y2BaFile > New >项目。

2. 在新项目对话框中,单击Scala,点击sbt,然后单击下一个。

3. 输入项目名称和项目的位置。

4. 为JDK,选择安装的OpenJDK 8 JRE。

5. 为sbt,选择的最高可用版本<代码类="docutils literal notranslate">sbt这是上市。

6. 为Scala,在理想的情况下,选择的Scala版本相匹配你的目标集群的Scala版本。看到的“系统环境”一节砖的运行时版本砖的运行时版本为目标集群。

7. 旁边Scala,选择来源箱子如果尚未选中。

8. 添加一个前缀包前缀。这些步骤使用包前缀<代码类="docutils literal notranslate">com.example.demo。如果你指定一个不同的包前缀,取代包前缀在这些步骤。

9. 点击完成。

步骤2:将对象添加到包中

你可以添加任何所需的对象包中。这个包包含一个对象命名<代码类="docutils literal notranslate">一点。

1. 在项目工具窗口(项目视图>工具窗口>),右键单击项目名称主要> src > > scala文件夹,然后单击新的> Scala类。

2. 选择对象和类型对象的名称,然后按下Enter。例如,类型<代码类="docutils literal notranslate">一点。如果你进入一个不同的对象名称在这里,一定要更换名字在这些步骤。

3. 替换的内容<代码类="docutils literal notranslate">SampleApp.scala用下面的代码文件:

   包com。例子。演示对象一点{def主要(arg游戏:数组(字符串]){}}

步骤3:构建项目

将所需的项目构建设置和依赖项添加到您的项目。这个步骤假设您正在构建一个项目,成立于前面的步骤,它只取决于以下库。

1. 更换项目的内容<代码类="docutils literal notranslate">build.sbt文件包含以下内容:

   ThisBuild/版本:=“0.1.0-SNAPSHOT”ThisBuild/scalaVersion:=“2.12.14”瓦尔sparkVersion=“3.2.1”懒惰的瓦尔根=(项目在文件(“。”))。设置(的名字:=“dbx-demo”,idePackagePrefix:=一些(“com.example.demo”),libraryDependencies+ =“org.apache.spark”% %“spark-core”%sparkVersionwithSources(),libraryDependencies+ =“org.apache.spark”% %“spark-sql”%sparkVersionwithSources(),libraryDependencies+ =“org.apache.spark”% %“spark-hive”%sparkVersionwithSources())

   在前面的文件,替换:

   • 2.12.14之前你选择的Scala版本的这个项目。

   • 3.2.1之上与之前版本的火花,你选择了这个项目。

   • dbx-demo与您的项目的名称。

   • com.example.demo与您的软件包的名称前缀。

2. 在菜单栏,点击窗口视图>工具> sbt。

3. 在sbt工具窗口中,右键单击您的项目的名称,然后单击重载sbt项目。等到<代码类="docutils literal notranslate">sbt完成从互联网下载项目的依赖关系工件存储如Coursier或常春藤在默认情况下,这取决于你的版本<代码类="docutils literal notranslate">sbt。你可以看状态栏的下载进度。如果您添加或更改任何更多的依赖这个项目,您必须为每组重复这个项目重新加载步骤的依赖关系添加或更改。

4. 在菜单栏,点击IntelliJ IDEA >首选项。

5. 在首选项对话框中,单击构建、执行部署> > sbt的构建工具。

6. 在JVM,因为JRE,选择安装的OpenJDK 8 JRE。

7. 在sbt项目中,选择您的项目的名称。

8. 在sbt壳中,选择构建。

9. 点击好吧。

10. 在菜单栏,点击构建>构建项目。构建的结果中出现sbt壳工具窗口(窗口视图>工具> sbt壳)。

步骤4:将代码添加到项目中

任何所需的代码添加到您的项目。这个步骤假设您只想添加代码<代码类="docutils literal notranslate">SampleApp.scala文件<代码类="docutils literal notranslate">例子包中。

在项目的<代码类="docutils literal notranslate">src><代码类="docutils literal notranslate">主要><代码类="docutils literal notranslate">scala><代码类="docutils literal notranslate">SampleApp.scala你想要的文件,添加代码<代码类="docutils literal notranslate">dbx批处理运行在你的目标集群。对于基本测试,使用Scala代码示例的部分代码示例。

第五步:运行项目

1. 在菜单栏,点击Run >编辑配置。

2. 在运行/调试配置对话框中,单击+(添加新配置)图标,或添加新,或添加新的运行配置。

3. 在下拉列表中,点击sbt任务。

4. 为的名字配置,输入一个名称,例如,运行这个程序。

5. 为任务,输入<代码类="docutils literal notranslate">~运行。

6. 选择使用sbt壳。

7. 点击好吧。

8. 在菜单栏,点击>跑“运行程序”。出现在运行的结果sbt壳工具窗口。

第六步:构建项目作为一个JAR

您可以添加任何JAR构建设置您的项目,你想要的。这个步骤假设您只希望构建一个JAR,基于项目成立于前面的步骤。

1. 在菜单栏,点击文件>项目结构。

2. 在项目结构对话框中,单击项目设置>工件。

3. 单击+(添加)图标。

4. 在下拉列表中,选择JAR >从模块依赖关系。

5. 在从模块创建JAR对话框中,为模块中,选择您的项目的名称。

6. 为主类,单击文件夹图标。

7. 在选择主类对话框,按名称搜索选项卡上,选择一点,然后单击好吧。

8. 为从库JAR文件中,选择通过清单复制到输出目录和链接。

9. 点击好吧关闭从模块创建JAR对话框。

10. 点击好吧关闭项目结构对话框。

11. 在菜单栏,点击构建>构建工件。

12. 在出现的上下文菜单中,选择项目名称:jar >构建。等待<代码类="docutils literal notranslate">sbt构建你的罐子。构建的结果中出现构建输出工具窗口(窗口视图>工具>构建)。

JAR是项目的建立<代码类="docutils literal notranslate">出><代码类="docutils literal notranslate">工件><代码类="docutils literal notranslate"><项目名称> _jar文件夹中。JAR的名字<代码类="docutils literal notranslate"><项目名称> . jar。

第七步:显示终端在IDE中

与你的<代码类="docutils literal notranslate">dbx现在项目结构,你可以创建<代码类="docutils literal notranslate">dbx项目。

通过点击显示IntelliJ IDEA的终端视图>工具窗口>终端的菜单栏,然后继续创建一个dbx项目。

步骤1:创建一个Maven-based Java项目

1. 在Eclipse中,点击File > New >项目。

2. 在新项目对话框中,展开Maven中,选择Maven项目,然后单击下一个。

3. 在新的Maven项目对话框中,选择创建一个简单项目(跳过原型选择),然后单击下一个。

4. 为组Id,输入一组ID,符合Java包名称的规则。这些步骤使用的包名称<代码类="docutils literal notranslate">com.example.demo。如果你进入一个不同的组ID,替代它在这些步骤。

5. 为工件IdJAR文件,输入一个名称,没有版本号。这些步骤使用的JAR名称<代码类="docutils literal notranslate">dbx-demo。如果你为JAR文件,输入一个不同的名称替代它在这些步骤。

6. 点击完成。

步骤2:将一个类添加到包中

您可以添加任何你想要的类包。这个包将包含一个类命名<代码类="docutils literal notranslate">一点。

1. 在Project Explorer视图(Window > Show View > Project Explorer),选择项目名称项目图标,然后单击File > New > Class。

2. 在新的Java类对话框中,为包,输入<代码类="docutils literal notranslate">com.example.demo。

3. 为的名字,输入<代码类="docutils literal notranslate">一点。

4. 为修饰符中,选择公共。

5. 离开超类空白。

6. 为哪个方法存根创建吗中,选择公共静态void Main (String [] args)。

7. 点击完成。

步骤3:将依赖项添加到项目中

1. 在Project Explorer视图中,双击项目名称> pom.xml。

2. 添加以下的子元素的依赖关系<代码类="docutils literal notranslate"><项目>元素,然后保存文件:

   < >的依赖关系<依赖>< groupId >org.apache.spark< / groupId >< artifactId >spark-sql_2.12< / artifactId ><版本>3.2.1之上> < /版本<范围>提供< / >范围< / >的依赖<依赖>< groupId >org.apache.spark< / groupId >< artifactId >spark-core_2.12< / artifactId ><版本>3.2.1之上> < /版本< / >的依赖<依赖>< groupId >org.apache.spark< / groupId >< artifactId >spark-hive_2.12< / artifactId ><版本>3.2.1之上> < /版本<范围>提供< / >范围< / >的依赖< / >的依赖关系

   替换:

   • 2.12与你的目标集群的Scala版本的。

   • 3.2.1之上与你的目标集群的版本的火花。

   看到的“系统环境”一节砖的运行时版本砖的运行时版本为目标集群。

第四步:编译项目

1. 在项目的<代码类="docutils literal notranslate">pom.xml文件中,添加以下Maven编译器属性的子元素<代码类="docutils literal notranslate"><项目>元素,然后保存文件:

   <属性>< project.build.sourceEncoding >utf - 8< / project.build.sourceEncoding >< maven.compiler.source >1.6< / maven.compiler.source >< maven.compiler.target >1.6< / maven.compiler.target >< / >属性

2. 在Project Explorer视图中,右键单击项目名称项目图标,然后单击Run As > Run配置。

3. 在运行配置对话框中,单击Maven构建。

4. 单击新的启动配置图标。

5. 为这个启动配置输入一个名称,例如干净的编译。

6. 为基地目录,点击工作空间选择您的项目目录,然后单击好吧。

7. 为目标,输入<代码类="docutils literal notranslate">清洁编译。

8. 点击运行。运行的输出出现在控制台视图(Window > Show View >控制台)。

第五步:将代码添加到项目中

你可以添加你想要的任何代码到您的项目。这个步骤假设您只需要将代码添加到文件命名<代码类="docutils literal notranslate">的那样为包命名<代码类="docutils literal notranslate">com.example.demo。

在项目的<代码类="docutils literal notranslate">src / main / java><代码类="docutils literal notranslate">com.example.demo><代码类="docutils literal notranslate">的那样你想要的文件,添加代码<代码类="docutils literal notranslate">dbx批处理运行在你的目标集群。(如果你没有任何代码方便,您可以使用Java代码代码示例本文的末尾列出。)

第六步:运行项目

1. 在Project Explorer视图中,右键单击项目名称项目图标,然后单击Run As > Run配置。

2. 在运行配置对话框中,展开Java应用程序,然后单击应用程序。

3. 点击运行。运行的输出出现在控制台视图。

第七步:构建项目作为一个JAR

1. 在Project Explorer视图中,右键单击项目名称项目图标,然后单击Run As > Run配置。

2. 在运行配置对话框中,单击Maven构建。

3. 单击新的启动配置图标。

4. 为这个启动配置输入一个名称,例如干净的包。

5. 为基地目录,点击工作空间选择您的项目目录,然后单击好吧。

6. 为目标,输入<代码类="docutils literal notranslate">清洁包。

7. 点击运行。运行的输出出现在控制台视图。

JAR是建立<代码类="docutils literal notranslate"><项目名称>><代码类="docutils literal notranslate">目标文件夹中。JAR的名字<代码类="docutils literal notranslate"><项目名称> 0.0.1-snapshot.jar。

第八步:显示终端在IDE中

与你的<代码类="docutils literal notranslate">dbx现在项目结构,你可以创建<代码类="docutils literal notranslate">dbx项目。首先,设置Project Explorer视图显示隐藏文件(文件从一个点开始(<代码类="docutils literal notranslate">。/))<代码类="docutils literal notranslate">dbx生成,如下所示:

1. 在Project Explorer视图中,单击省略号(视图菜单)过滤器图标,然后单击过滤器和定制。

2. 在过滤器和定制对话框,预设的过滤器选项卡上,清晰的*资源。盒子。

3. 点击好吧。

接下来,Eclipse终端显示如下:

1. 点击Window > Show View >终端在菜单栏上。

2. 在终端的命令提示符没有出现,终端视图中,单击打开一个终端图标。

3. 使用<代码类="docutils literal notranslate">cd命令来切换到您的项目的根目录。

4. 继续创建一个dbx项目。

创建一个最小的dbx Python项目

以下最小<代码类="docutils literal notranslate">dbx项目是最简单和最快的方式开始使用Python和<代码类="docutils literal notranslate">dbx。它演示了一个Python代码文件的批处理运行现有的砖通用的集群在你的砖工作区。

要完成这个过程,您必须有一个现有的通用集群在工作区中。(见显示集群orgydF4y2Ba创建一个集群)。理想情况下(但不是必需的),在您的Python版本的Python虚拟环境应与此集群上安装的版本。识别在集群上的Python版本,使用集群的网络终端运行命令<代码类="docutils literal notranslate">python——版本。

python的版本

1. 从您的终端,从你<代码类="docutils literal notranslate">dbx项目的根文件夹,运行<代码类="docutils literal notranslate">dbx配置命令使用以下选项。这个命令创建一个隐藏的<代码类="docutils literal notranslate">.dbx文件夹内<代码类="docutils literal notranslate">dbx项目的根文件夹。这<代码类="docutils literal notranslate">.dbx文件夹包含<代码类="docutils literal notranslate">lock.json和<代码类="docutils literal notranslate">project.json文件。

   dbx默认配置,配置文件默认环境

   请注意

   的<代码类="docutils literal notranslate">project.json文件定义一个环境命名<代码类="docutils literal notranslate">默认的的引用<代码类="docutils literal notranslate">默认的概要文件在你的<代码类="docutils literal notranslate">.databrickscfg文件。如果你想要<代码类="docutils literal notranslate">dbx使用不同的配置文件,替换<代码类="docutils literal notranslate">——简介默认的与<代码类="docutils literal notranslate">——简介其次是你目标概要文件的名字,<代码类="docutils literal notranslate">dbx配置命令。

   例如,如果你有一个概要文件命名<代码类="docutils literal notranslate">DEV在你的<代码类="docutils literal notranslate">.databrickscfg文件和你想要的<代码类="docutils literal notranslate">dbx使用它代替的<代码类="docutils literal notranslate">默认的配置文件,你<代码类="docutils literal notranslate">project.json文件可能看起来像这样相反,的情况下,你也会取代<代码类="docutils literal notranslate">——环境默认的与<代码类="docutils literal notranslate">——环境dev在<代码类="docutils literal notranslate">dbx配置命令:

   {“环境”:{“默认”:{“配置文件”:“默认”,“storage_type”:“mlflow”,“属性”:{“workspace_directory”:“/共享/ dbx /项目/ < current-folder-name >”,“artifact_location”:“dbfs: / dbx / < current-folder-name >”}},“开发”:{“配置文件”:“开发”,“storage_type”:“mlflow”,“属性”:{“workspace_directory”:“/共享/ dbx /项目/ < some-other-folder-name >”,“artifact_location”:“dbfs: / dbx / < some-other-folder-name >”}}}}

   如果你想要<代码类="docutils literal notranslate">dbx使用<代码类="docutils literal notranslate">DATABRICKS_HOST和<代码类="docutils literal notranslate">DATABRICKS_TOKEN环境变量而不是一个概要文件在你<代码类="docutils literal notranslate">.databrickscfg文件,然后离开了<代码类="docutils literal notranslate">——简介选择完全的<代码类="docutils literal notranslate">dbx配置命令。

2. 创建一个文件夹命名<代码类="docutils literal notranslate">相依在你的<代码类="docutils literal notranslate">dbx项目的根文件夹。

   对于Linux和macOS:

   mkdir相依

   Windows:

   医学博士相依

3. 添加一个文件命名<代码类="docutils literal notranslate">deployment.yaml文件到<代码类="docutils literal notranslate">相依目录,文件内容如下:

   构建:no_build:真正的环境:默认的:工作流:- - - - - -的名字:“dbx-demo-job”spark_python_task:python_file:“文件:/ / dbx-demo-job.py”

   请注意

   的<代码类="docutils literal notranslate">deployment.yaml文件包含小写字母的单词<代码类="docutils literal notranslate">默认的,这是一个大写的引用<代码类="docutils literal notranslate">默认的概要文件在你的<代码类="docutils literal notranslate">.databrickscfg文件。如果你想要<代码类="docutils literal notranslate">dbx使用不同的配置文件,替换<代码类="docutils literal notranslate">默认的与你的目标概要文件的名字。

   例如,如果你有一个概要文件命名<代码类="docutils literal notranslate">DEV在你的<代码类="docutils literal notranslate">.databrickscfg文件和你想要的<代码类="docutils literal notranslate">dbx使用它代替的<代码类="docutils literal notranslate">默认的配置文件,你<代码类="docutils literal notranslate">deployment.yaml文件可能看起来像这样:

   环境:默认的:工作流:- - - - - -的名字:“dbx-demo-job”spark_python_task:python_file:“文件:/ / dbx-demo-job.py”dev:工作流:- - - - - -的名字:“< some-other-job-name >”spark_python_task:python_file:“文件:/ / < some-other-filename > . py”

   如果你想要<代码类="docutils literal notranslate">dbx使用<代码类="docutils literal notranslate">DATABRICKS_HOST和<代码类="docutils literal notranslate">DATABRICKS_TOKEN环境变量而不是一个概要文件在你<代码类="docutils literal notranslate">.databrickscfg文件,然后离开<代码类="docutils literal notranslate">默认的在<代码类="docutils literal notranslate">deployment.yaml为是。<代码类="docutils literal notranslate">dbx默认情况下将使用这个引用。

   提示

   添加火花配置键-值对的工作,使用<代码类="docutils literal notranslate">spark_conf领域,例如:

   环境:默认的:工作流:- - - - - -的名字:“dbx-demo-job”spark_conf:spark.speculation:真正的spark.streaming.ui.retainedBatches:5spark.driver.extraJavaOptions:“- verbose: gc- xx: + PrintGCDetails”#……

   将权限添加到工作,使用<代码类="docutils literal notranslate">access_control_list领域,例如:

   环境:默认的:工作流:- - - - - -的名字:“dbx-demo-job”access_control_list:- - - - - -user_name:“someone@example.com”permission_level:“IS_OWNER”- - - - - -group_name:“团队”permission_level:“CAN_VIEW”#……

   请注意,<代码类="docutils literal notranslate">access_control_list字段必须详尽,因此工作的主人应该添加到列表中添加其他用户和组权限。

4. 在集群上运行的代码添加到一个文件命名<代码类="docutils literal notranslate">dbx-demo-job.py并将文件添加到你的根文件夹<代码类="docutils literal notranslate">dbx项目。(如果你没有任何代码方便,您可以使用的Python代码代码示例本文的末尾列出。)

   请注意

   你不需要这个文件名称<代码类="docutils literal notranslate">dbx-demo-job.py。如果你选择一个不同的文件名,一定要更新<代码类="docutils literal notranslate">python_file字段<代码类="docutils literal notranslate">conf / deployment.yaml文件来匹配。

5. 运行以下命令<代码类="docutils literal notranslate">dbx执行命令使用以下选项。在这个命令,取代<代码类="docutils literal notranslate">< existing-cluster-id >工作区中的目标集群的ID。(ID,见集群URL和ID)。

   dbx执行——cluster-id=< existing-cluster-id > dbx-demo-job——没有包

6. 在本地查看运行结果,看看你的终端输出。查看您的集群上运行的结果,去标准输出窗格中司机日志选项卡为您的集群。(见集群的司机和工人日志)。

7. 继续下一个步骤。

创建一个最小的dbx Scala或Java项目

以下最小<代码类="docutils literal notranslate">dbx项目是最简单和最快的方式开始<代码类="docutils literal notranslate">dbx和Scala或Java。它展示了部署一个Scala或Java JAR砖工作区,然后运行部署JAR砖集群工作在你的砖工作区。

1. 在你的终端,从项目的根文件夹,运行<代码类="docutils literal notranslate">dbx配置命令使用以下选项。这个命令创建一个隐藏的<代码类="docutils literal notranslate">.dbx文件夹在您的项目的根文件夹。这<代码类="docutils literal notranslate">.dbx文件夹包含<代码类="docutils literal notranslate">lock.json和<代码类="docutils literal notranslate">project.json文件。

   dbx默认配置,配置文件默认环境

   请注意

   的<代码类="docutils literal notranslate">project.json文件定义一个环境命名<代码类="docutils literal notranslate">默认的的引用<代码类="docutils literal notranslate">默认的概要文件在你的<代码类="docutils literal notranslate">.databrickscfg文件。如果你想要<代码类="docutils literal notranslate">dbx使用不同的配置文件,替换<代码类="docutils literal notranslate">——简介默认的与<代码类="docutils literal notranslate">——简介其次是你目标概要文件的名字,<代码类="docutils literal notranslate">dbx配置命令。

   例如,如果你有一个概要文件命名<代码类="docutils literal notranslate">DEV在你的<代码类="docutils literal notranslate">.databrickscfg文件和你想要的<代码类="docutils literal notranslate">dbx使用它代替的<代码类="docutils literal notranslate">默认的配置文件,你<代码类="docutils literal notranslate">project.json文件可能看起来像这样相反,的情况下,你也会取代<代码类="docutils literal notranslate">——环境默认的与<代码类="docutils literal notranslate">——环境dev在<代码类="docutils literal notranslate">dbx配置命令:

   {“环境”:{“默认”:{“配置文件”:“默认”,“storage_type”:“mlflow”,“属性”:{“workspace_directory”:“/共享/ dbx /项目/ < current-folder-name >”,“artifact_location”:“dbfs: / dbx / < current-folder-name >”}},“开发”:{“配置文件”:“开发”,“storage_type”:“mlflow”,“属性”:{“workspace_directory”:“/共享/ dbx /项目/ < some-other-folder-name >”,“artifact_location”:“dbfs: / dbx / < some-other-folder-name >”}}}}

   如果你想要<代码类="docutils literal notranslate">dbx使用<代码类="docutils literal notranslate">DATABRICKS_HOST和<代码类="docutils literal notranslate">DATABRICKS_TOKEN环境变量而不是一个概要文件在你<代码类="docutils literal notranslate">.databrickscfg文件,然后离开了<代码类="docutils literal notranslate">——简介选择完全的<代码类="docutils literal notranslate">dbx配置命令。

2. 创建一个文件夹命名<代码类="docutils literal notranslate">相依在你的项目的根文件夹。

   对于Linux和macOS:

   mkdir相依

   Windows:

   医学博士相依

3. 添加一个文件命名<代码类="docutils literal notranslate">deployment.yaml文件到<代码类="docutils literal notranslate">相依目录,用最小的文件内容如下:

   构建:no_build:真正的环境:默认的:工作流:- - - - - -的名字:“dbx-demo-job”new_cluster:spark_version:“10.4.x-scala2.12”node_type_id:“n1-highmem-4”num_workers:2instance_pool_id:“my-instance-pool”库:- - - - - -jar:“文件:/ / /工件/ dbx_demo_jar / dbx-demo.jar”spark_jar_task:main_class_name:“com.example.demo.SampleApp”

   替换:

   • 的价值<代码类="docutils literal notranslate">spark_version用适当的运行时版本为你的目标集群的工作。

   • 的价值<代码类="docutils literal notranslate">node_type_id用适当的集群节点类型为你的目标集群的工作。

   • 的价值<代码类="docutils literal notranslate">instance_pool_id与现有实例的ID池在您的工作空间,使更快的运行工作。如果你没有一个现有的实例池或者你不希望使用一个实例池,去除这条线。

   • 的价值<代码类="docutils literal notranslate">jar与工程JAR的路径。对于Scala的IntelliJ IDEA,它可能是<代码类="docutils literal notranslate">文件:/ / / / dbx_demo_jar / dbx-demo.jar工件。Eclipse IDE使用Java、<代码类="docutils literal notranslate">文件:/ /目标/ dbx-demo-0.0.1-SNAPSHOT.jar。

   • 的价值<代码类="docutils literal notranslate">main_class_nameJAR的主类的名称,例如<代码类="docutils literal notranslate">com.example.demo.SampleApp。

   请注意

   的<代码类="docutils literal notranslate">deployment.yaml文件包含这个词<代码类="docutils literal notranslate">默认的,这是一个参考<代码类="docutils literal notranslate">默认的环境<代码类="docutils literal notranslate">.dbx / project.json文件,进而是一个参考<代码类="docutils literal notranslate">默认的概要文件在你的<代码类="docutils literal notranslate">.databrickscfg文件。如果你想要<代码类="docutils literal notranslate">dbx使用不同的配置文件,替换<代码类="docutils literal notranslate">默认的在这个<代码类="docutils literal notranslate">deployment.yaml文件中相应的参考<代码类="docutils literal notranslate">.dbx / project.json文件,进而引用相应的配置文件内<代码类="docutils literal notranslate">.databrickscfg文件。

   例如,如果你有一个概要文件命名<代码类="docutils literal notranslate">DEV在你的<代码类="docutils literal notranslate">.databrickscfg文件和你想要的<代码类="docutils literal notranslate">dbx使用它代替的<代码类="docutils literal notranslate">默认的配置文件,你<代码类="docutils literal notranslate">deployment.yaml文件可能看起来像这样:

   环境:默认的:工作流:- - - - - -的名字:“dbx-demo-job”#……dev:工作流:- - - - - -的名字:“< some-other-job-name >”#……

   如果你想要<代码类="docutils literal notranslate">dbx使用<代码类="docutils literal notranslate">DATABRICKS_HOST和<代码类="docutils literal notranslate">DATABRICKS_TOKEN环境变量而不是一个概要文件在你<代码类="docutils literal notranslate">.databrickscfg文件,然后离开<代码类="docutils literal notranslate">默认的在<代码类="docutils literal notranslate">deployment.yaml为是。<代码类="docutils literal notranslate">dbx将使用<代码类="docutils literal notranslate">默认的(除了环境设置<代码类="docutils literal notranslate">配置文件值)<代码类="docutils literal notranslate">.dbx / project.json默认文件。

   提示

   添加火花配置键-值对的工作,使用<代码类="docutils literal notranslate">spark_conf领域,例如:

   环境:默认的:工作流:- - - - - -的名字:“dbx-demo-job”spark_conf:spark.speculation:真正的spark.streaming.ui.retainedBatches:5spark.driver.extraJavaOptions:“- verbose: gc- xx: + PrintGCDetails”#……

   将权限添加到工作,使用<代码类="docutils literal notranslate">access_control_list领域,例如:

   环境:默认的:工作流:- - - - - -的名字:“dbx-demo-job”access_control_list:- - - - - -user_name:“someone@example.com”permission_level:“IS_OWNER”- - - - - -group_name:“团队”permission_level:“CAN_VIEW”#……

   请注意,<代码类="docutils literal notranslate">access_control_list字段必须详尽,因此工作的主人应该添加到列表中添加其他用户和组权限。

4. 运行<代码类="docutils literal notranslate">dbx部署命令。<代码类="docutils literal notranslate">dbx部署JAR中的位置<代码类="docutils literal notranslate">.dbx / project.json文件的<代码类="docutils literal notranslate">artifact_location路径匹配的环境。<代码类="docutils literal notranslate">dbx也部署项目的文件的一部分MLflow实验中列出的位置<代码类="docutils literal notranslate">.dbx / project.json文件的<代码类="docutils literal notranslate">workspace_directory路径匹配的环境。

   dbx部署——没有包

5. 运行<代码类="docutils literal notranslate">dbx发射命令使用以下选项。运行这个命令的名称匹配的工作<代码类="docutils literal notranslate">conf / deployment.yaml。找到部署JAR运行作为这项工作的一部分,<代码类="docutils literal notranslate">dbx引用的位置<代码类="docutils literal notranslate">.dbx / project.json文件的<代码类="docutils literal notranslate">artifact_location路径匹配的环境。确定哪些特定的JAR来运行,<代码类="docutils literal notranslate">dbx引用MLflow实验中列出的位置<代码类="docutils literal notranslate">.dbx / project.json文件的<代码类="docutils literal notranslate">workspace_directory路径匹配的环境。

   dbx发射dbx-demo-job

6. 查看工作工作集群上运行的结果,明白了视图的工作。

7. 查看引用的实验工作,明白了组织培训与MLflow运行实验。

8. 继续下一个步骤。

创建一个dbx模板化项目与CI / CD支持Python

以下<代码类="docutils literal notranslate">dbx模板化Python项目演示支持批处理在砖上运行的Python代码通用的集群和工作的集群砖工作区,远程代码工件部署和CI / CD平台设置。bob体育客户端下载(创建一个最小的<代码类="docutils literal notranslate">dbxPython项目,只有演示了一个Python代码文件的批处理运行在现有通用集群,跳过回创建一个最小的dbx Python项目)。

1. 从您的终端,在你<代码类="docutils literal notranslate">dbx项目的根文件夹,运行<代码类="docutils literal notranslate">dbx初始化命令。

   dbx init

2. 为project_name为项目输入一个名字,或按enter键接受默认项目名称。

3. 为版本,输入版本号为您的项目开始,或按enter键接受默认项目版本。

4. 为云,选择对应的数字数据砖云版本,您希望您的项目使用,或按Enter键接受默认。

5. 为cicd_tool,选择对应于所支持的CI / CD工具,您希望您的项目使用,或按Enter键接受默认。

6. 为project_slug输入一个前缀,您想要使用的资源在你的项目中,或按enter键接受默认。

7. 为workspace_directory工作区目录,输入当地的路径为您的项目,或按enter键接受默认。

8. 为artifact_location,砖工作区中输入路径写入您的项目工件,或按enter键接受默认。

9. 为配置文件输入CLI身份验证配置文件的名称,你想让你的项目使用,或按enter键接受默认。

dbx init -模板=“python_basic”\- p“project_name = cicd-sample-project”\- p“云=谷歌云”\- p“cicd_tool = GitLab”\- p“配置文件=违约”\——没有输入

另请参阅下一个步骤。