管道附件

三角洲生活表支持在你的管道外部依赖。砖建议安装Python包使用两种模式:

  1. 使用%皮普安装命令来安装包管道中的所有源文件。

  2. 从源代码导入模块或库存储在工作区文件。看到从砖回购的进口Python模块

三角洲生活表还支持使用全球和集群级init脚本。然而,这些外部依赖,尤其是init脚本,增加运行时问题的风险升级。为了减轻这些风险,减少在管道中使用init脚本。如果你的处理需要init脚本,自动化测试的管道提前发现问题。如果你使用init脚本,砖建议增加测试频率。

Python库

指定外部Python库,使用%皮普安装神奇的命令。当一个更新开始,δ生活表包含一个运行所有细胞%皮普安装命令在运行任何表定义。每个Python笔记本包含在管道股图书馆环境和访问所有已安装的库。

重要的

因为每一个笔记本在管道股图书馆环境中,你不能定义不同的库版本在一个管道。如果你的处理需要不同的库版本,您必须定义在不同的管道。

下面的示例安装numpy库,使其在全球范围内提供给任何Python笔记本管道:

%皮普安装numpy进口numpy作为np

安装一个Python轮包,添加轮路径%皮普安装命令。安装Python轮包可用于管道中的所有表。下面的示例安装轮子命名dltfns - 1.0 - py3 any.whl——没有从DBFS目录/ dbfs / dlt /:

%皮普安装/dbfs/dlt/dltfns- - - - - -1.0- - - - - -py3- - - - - -没有一个- - - - - -任何whl

看到与% pip安装轮子包

我可以用Scala或Java库三角洲住表管道吗?

不,三角洲住表只支持SQL和Python。你不能使用JVM库管道。安装JVM库将会导致不可预测的行为,可能与未来三角洲生活表版本。