砖连接

步骤1:安装客户端

1. 卸载PySpark。这是必需的,因为databricks-connect包与PySpark冲突。有关详细信息,请参见冲突PySpark安装。

   皮普卸载pyspark

2. 安装砖连接的客户端。

   pip安装- u“databricks-connect = = 7.3 *”。#或X.Y.*来match your cluster version.

   请注意

   总是指定databricks-connect = = X.Y. *而不是databricks-connect = X.Y,确保最新的安装包。

步骤2:配置连接属性

1. 收集以下配置属性:

   • 砖工作空间的URL。

   • 砖个人访问令牌。

   • 集群创建的ID。你可以从URL获取集群ID。这里的集群ID0304 - 201045 xxxxxxxx。

     

   • 砖连接的连接的端口。设置为15001年。

2. 配置连接。您可以使用CLI、SQL配置或环境变量。从最高到最低配置方法的优先级是:SQL配置钥匙,CLI和环境变量。

   • CLI

     1. 运行databricks-connect。

        databricks-connect配置

        许可证将显示:

        版权(2018年)砖,公司。这图书馆(的“软件”)可能不是使用除了在连接与的被许可方的砖的使用平台服务依照达成协议bob体育客户端下载…

     2. 接受许可和供应配置值。为砖的主机和砖的令牌,输入工作区URL和个人访问令牌您在步骤1中指出。

        你接受以上协议吗?[y / N] y设置新的配置值(离开输入空接受默认):砖主机(目前没有价值,必须从https://]: < databricks-url >砖令牌(没有当前值):< databricks-token >集群ID(例如,0921 - 001415 jelly628)(没有当前值):< cluster-id > Org ID (Azure-only,看到了吗? o = orgId URL) [0]: < org-id >端口[15001]:<口>

   • SQL配置或环境变量。下面的表显示了SQL配置键和对应的环境变量配置属性您在步骤1中指出。设置SQL配置键,使用sql(“集配置=值”)。例如:sql(“集spark.databricks.service.clusterId = 0304 - 201045 - abcdefgh”)。

     参数	SQL配置关键	环境变量名称
     砖的主机	spark.databricks.service.address	DATABRICKS_ADDRESS
     砖的令牌	spark.databricks.service.token	DATABRICKS_API_TOKEN
     集群ID	spark.databricks.service.clusterId	DATABRICKS_CLUSTER_ID
     Org ID	spark.databricks.service.orgId	DATABRICKS_ORG_ID
     港口	spark.databricks.service.port	DATABRICKS_PORT

3. 测试连接数据砖。

   databricks-connect测试

   如果您配置的集群没有运行,测试配置的集群将继续运行,直到它开始autotermination时间。输出应该类似:

   * PySpark是安装在/…/ 3.5.6 / lib / python3.5 /网站/ PySpark *检查java版本的java版本“1.8.0_152”java (TM)(构建1.8.0_152-b16) java SE运行时环境热点(TM) 64位服务器虚拟机(构建25.152 b16转椅,混合模式)*测试scala命令18/12/10 16:38:44 NativeCodeLoader警告:无法加载native-hadoop库为您的平台……bob体育客户端下载使用builtin-java类,适用的使用引发的违约log4j配置文件:org/apache/spark/log4j-defaults。属性默认日志级别设置为“警告”。调整日志级别使用sc.setLogLevel(中的)。对于SparkR,使用setLogLevel(中的)。18/12/10 16:38:50警告MetricsSystem:使用默认名称SparkStatusTracker因为无论是spark.metrics.namespace还是spark.app来源。我d is set. 18/12/10 16:39:53 WARN SparkServiceRPCClient: Now tracking server state for 5abb7c7e-df8e-4290-947c-c9a38601024e, invalidating prev state 18/12/10 16:39:59 WARN SparkServiceRPCClient: Syncing 129 files (176036 bytes) took 3003 ms Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.4.0-SNAPSHOT /_/ Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_152) Type in expressions to have them evaluated. Type :help for more information. scala> spark.range(100).reduce(_ + _) Spark context Web UI available at https://10.8.5.214:4040 Spark context available as 'sc' (master = local[*], app id = local-1544488730553). Spark session available as 'spark'. View job details at /?o=0#/setting/clusters//sparkUi View job details at ?o=0#/setting/clusters//sparkUi res0: Long = 4950 scala> :quit * Testing python command 18/12/10 16:40:16 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 18/12/10 16:40:17 WARN MetricsSystem: Using default name SparkStatusTracker for source because neither spark.metrics.namespace nor spark.app.id is set. 18/12/10 16:40:28 WARN SparkServiceRPCClient: Now tracking server state for 5abb7c7e-df8e-4290-947c-c9a38601024e, invalidating prev state View job details at /?o=0#/setting/clusters//sparkUi

Jupyter笔记本

砖连接配置脚本自动添加包到您的项目配置。开始一个Python内核中运行:

从pyspark.sql进口SparkSession火花=SparkSession。构建器。getOrCreate()

要启用%的sql简称跑步和可视化的SQL查询,使用以下代码片段:

从IPython.core.magic进口line_magic,line_cell_magic,魔法,magics_class@magics_class类DatabricksConnectMagics(魔法):@line_cell_magicdefsql(自我,行,细胞=没有一个):如果细胞和行:提高ValueError(细胞魔法”“线必须是空的,行)试一试:从autovizwidget.widget.utils进口display_dataframe除了ImportError:打印(“请运行“pip安装autovizwidget”启用可视化部件。”)display_dataframe=λx:x返回display_dataframe(自我。get_spark()。sql(细胞orgydF4y2Ba行)。toPandas())defget_spark(自我):user_ns=get_ipython()。user_ns如果“火花”在user_ns:返回user_ns(“火花”]其他的:从pyspark.sql进口SparkSessionuser_ns(“火花”]=SparkSession。构建器。getOrCreate()返回user_ns(“火花”]知识产权=get_ipython()知识产权。register_magics(DatabricksConnectMagics)

PyCharm

砖连接配置脚本自动添加包到您的项目配置。

SparkR和RStudio桌面

1. 下载并解压bob下载地址开源的火花到您的本地机器上。选择相同的版本在你的砖集群(Hadoop 2.7)。

2. 运行databricks-connectget-jar-dir。这个命令返回一个路径/usr/local/lib/python3.5/dist-packages / pyspark / jar。复制的文件路径上面一个目录例如,JAR目录文件路径/usr/local/lib/python3.5/dist-packages / pyspark,这是SPARK_HOME目录中。

3. 配置火花自由路径和火花家里通过将它们添加到你的R脚本。集< spark-lib-path >你打开的目录开源火花包在步骤1中。bob下载地址集< spark-home-path >从步骤2砖连接目录。

   #指向OSS包路径,例如,/ / /…/ spark-2.4.0-bin-hadoop2.7道路图书馆(SparkR,lib.loc=.libPaths(c(file.path(“< spark-lib-path >”,“R”,“自由”),.libPaths())))#点砖PySpark连接安装,例如,/ / /…/ PySpark路径Sys.setenv(SPARK_HOME=“< spark-home-path >”)

4. 发起一个火花会话并开始运行SparkR命令。

   sparkR.session()df< -as.DataFrame(忠实的)头(df)df1< -有斑纹的(df,函数(x){x},模式(df))收集(df1)

sparklyr和RStudio桌面

IntelliJ (Scala或Java)

1. 运行databricks-connectget-jar-dir。

2. 的依赖关系指向的目录返回的命令。去文件> >项目结构>模块依赖项>“+”符号> jar或目录。

   

   为了避免冲突,我们强烈建议删除任何其他火花从类路径中安装。如果这是不可能的,确保jar添加在前面的类路径中。特别是,他们必须提前安装其他版本的火花(否则你会使用其中一个其他火花版本和本地运行或扔一个ClassDefNotFoundError)。

3. 检查在IntelliJ突破的设置选项。默认值是所有并将导致网络超时如果你设置断点调试。将其设置为线程为了避免停止网络后台线程。

   

Eclipse

1. 运行databricks-connectget-jar-dir。

2. 点的外部jar配置目录返回的命令。去图书馆项目菜单>属性> Java构建路径> >添加外部jar。

   

   为了避免冲突,我们强烈建议删除任何其他火花从类路径中安装。如果这是不可能的,确保jar添加在前面的类路径中。特别是,他们必须提前安装其他版本的火花(否则你会使用其中一个其他火花版本和本地运行或扔一个ClassDefNotFoundError)。

   

Visual Studio代码

1. 验证Python扩展安装。

2. 打开命令面板(命令+ Shift + P在macOS和Ctrl + Shift + P在Windows / Linux)。

3. 选择一个Python解释器。去代码> Preferences >设置,并选择python的设置。

4. 运行databricks-connectget-jar-dir。

5. 从命令返回的目录添加到用户设置JSONpython.venvPath。这应该被添加到Python配置。

6. 禁用短绒。单击…在右边编辑json设置。修改后的设置如下:

   

7. 如果与一个虚拟环境中运行,这是推荐的方式为Python开发在VS代码中,在命令面板类型选择python翻译并指向您的环境匹配集群的Python版本。

   

   例如,如果您的集群是Python 3.5,你的当地环境应该是Python 3.5。

   

SBT

使用SBT,您必须配置您的build.sbt文件链接对砖的连接罐而不是通常的火花库依赖关系。你这样做的unmanagedBase下面的示例构建文件指令,假设一个Scala应用的com.example.Test主要对象:

名称:= " hello world "版本:= " 1.0 " scalaVersion: = " 2.11.6 " / /这应该被设置为“返回的路径databricks-connect get-jar-dir“unmanagedBase: = new java.io.File (“/ usr /地方/ lib / python2.7 / dist-packages pyspark / jars”) mainClass: =一些(“com.example.Test”)

使用依赖关系

通常你的主类或Python文件将有其他依赖jar文件和文件。您可以添加这样的依赖jar文件和文件通过调用sparkContext.addJar (“path-to-the-jar”)orgydF4y2BasparkContext.addPyFile(文件路径)。你也可以加入鸡蛋和zip文件的文件addPyFile ()接口。每次你在IDE运行代码,依赖jar文件和文件在集群上安装。

从自由进口喷火从pyspark.sql进口SparkSession火花=SparkSession。构建器。getOrCreate()sc=火花。sparkContext# sc.setLogLevel(“信息”)打印(“测试简单的计数”)打印(火花。范围(One hundred.)。数())打印(“测试addPyFile隔离”)sc。addPyFile(“lib.py”)打印(sc。并行化(范围(10))。地图(λ我:喷火(2))。收集())类喷火(对象):def__init__(自我,x):自我。x=x

从pyspark.sql进口SparkSession从pyspark.sql.column进口_to_java_column,_to_seq,列# #在这个例子中,udf。jar包含编译后的Java / Scala udf的:#包com.example##进口org.apache.spark.sql._#进口org.apache.spark.sql.expressions._#进口org.apache.spark.sql.functions.udf##{对象测试# val plusOne: UserDefinedFunction = udf((我:长)= > i + 1)#}火花=SparkSession。构建器\。配置(“spark.jars”,“/道路/ / udf.jar”)\。getOrCreate()sc=火花。sparkContextdefplus_one_udf(上校):f=sc。_jvm。com。例子。测试。plusOne()返回列(f。应用(_to_seq(sc,(上校),_to_java_column)))sc。_jsc。addJar(“/道路/ / udf.jar”)火花。范围(One hundred.)。withColumn(“plusOne”,plus_one_udf(“id”))。显示()

包com。例子进口org。apache。火花。sql。SparkSession情况下类喷火(x:字符串)对象测试{def主要(arg游戏:数组(字符串):单位={瓦尔火花=SparkSession。构建器()…。getOrCreate();火花。sparkContext。setLogLevel(“信息”)println(“运行简单的显示查询……”)火花。读。格式(“铺”)。负载(“/ tmp / x”)。显示()println(“运行简单的UDF查询……”)火花。sparkContext。addJar(”。/目标/ scala - 2.11 / hello-world_2.11-1.0.jar”)火花。udf。注册(“f”,(x:Int)= >x+1)火花。范围(10)。selectExpr(“f (id)”)。显示()println(“运行定制对象查询……”)瓦尔obj=火花。sparkContext。并行化(Seq(喷火(“再见”),喷火(“嗨”)))。收集()println(obj。toSeq)}}

本地和远程文件系统之间复制文件

您可以使用dbutils.fs您的客户端和远程文件系统之间复制文件。计划文件:/指的是在客户端本地文件系统。

从pyspark.dbutils进口DBUtilsdbutils=DBUtils(火花)dbutils。fs。cp(“文件:/ home / user / data.csv”,“dbfs: /上传”)dbutils。fs。cp(“dbfs: / / results.csv输出”,下载的文件:/ home / user / / ')

最大文件大小,可以转移方式是250 MB。

启用dbutils.secrets.get

由于安全限制,调用的能力dbutils.secrets.get默认情况下是禁用的。接触砖支持您的工作区来启用这个特性。

Python版本不匹配

检查您使用的Python版本当地至少有相同的小版本版本在集群上(例如,3.5.1与3.5.2是好的,3.5与3.6不是)。

如果你有多个Python版本安装在本地,确保砖使用正确的连接是通过设置PYSPARK_PYTHON环境变量(例如,PYSPARK_PYTHON = python3)。

服务器未启用

确保集群火花服务器启用了spark.databricks.service.server.enabled真正的。您应该看到下面的线在司机日志如果它是:

18/10/25 21:39:18信息SparkConfUtils美元:设置火花配置:spark.databricks.service.server。启用- >真实……18/10/25 21:39:21信息SparkContext:加载火花服务RPC服务器18/10/25 21:39:21信息SparkServiceRPCServer:火花服务RPC服务器开始18/10/25 21:39:21信息服务器:jetty-9.3.20。v20170531 18/10/25 21:39:21信息AbstractConnector:开始ServerConnector@6a6c7f42 {HTTP / 1.1, (HTTP / 1.1)}{0.0.0.0:15001} 18/10/25 21:39:21信息服务器:@5879ms开始

冲突PySpark安装

的databricks-connect包与PySpark冲突。安装两个初始化时将导致错误引发上下文在Python中。这可以体现在几个方面,包括“流破坏”或“找不到”的错误。如果你有PySpark安装到您的Python环境,确保安装databricks-connect之前卸载。卸载PySpark之后,一定要完全重新安装砖连接的包:

pip卸载pyspark pip卸载databricks-connect pip安装- u“databricks-connect = = 9.1 *”。#或X.Y.*来match your cluster version.

相互冲突的SPARK_HOME

如果您以前使用过火花机,IDE可以配置为使用一个其他版本的火花而不是砖连接的火花。这可以体现在几个方面,包括“流破坏”或“找不到”的错误。你可以看到哪个版本的火花被检查的价值SPARK_HOME环境变量:

系统。出。println(系统。采用(“SPARK_HOME”));

进口操作系统打印(操作系统。环境(“SPARK_HOME”])

println(sys。env。得到(“SPARK_HOME”))

冲突或失踪路径二进制文件的条目

可以配置路径,这样的命令spark-shell将运行其他之前安装的二进制代替砖提供的一个连接。这可能会导致databricks-connect测试失败。你应该确保优先考虑砖连接的二进制文件,或删除之前安装的。

如果你不能运行命令spark-shell,也有可能你的路径并不是自动建立的皮普安装,你将需要添加安装本手动dir到您的路径。可以使用砖与ide,即使这不是设置。然而,databricks-connect测试命令将不能正常工作。

冲突的序列化设置在集群上

如果你看到“流损坏”运行时错误databricks-connect测试,这可能是由于不兼容的集群序列化配置。例如,设置spark.io.compression.codec配置会导致这个问题。为了解决这个问题,考虑从集群移除这些配置设置,或设置配置在砖连接的客户端。

找不到winutils.exe在Windows上

如果您使用的是砖连接在Windows上看:

错误壳牌:失败的来定位的winutils二进制在的hadoop二进制路径java。io。IOException:可以不定位可执行的零\本\winutils。exe在的Hadoop二进制文件。

按照指示在Windows上配置Hadoop路径。

文件名、目录名或卷标在Windows上语法是不正确的

如果您使用的是砖连接在Windows上看:

的文件名,目录的名字,orgydF4y2Ba体积标签语法是不正确的。

Java或砖连接被安装到一个目录空间在你的路径。您可以解决通过安装到一个目录路径没有空间,使用或配置路径短名称形式。