读取数据共享使用Databricks-to-Databricks三角洲共享

查看所有与你共享数据的提供者

查看可用的数据提供者列表,您可以使用数据浏览,砖统一目录的CLI或显示供应商SQL命令在砖砖笔记本或SQL查询编辑器。

权限要求:你必须metastore管理员或有使用提供者特权。其他用户只能访问提供者和提供者,他们自己的股票。

有关详细信息,请参见查看供应商。

查看供应商详细信息

查看供应商的详细信息,您可以使用数据浏览,砖统一目录的CLI或描述提供者SQL命令在砖砖笔记本或SQL查询编辑器。

权限要求:你必须是一个metastore管理,使用提供者特权,或自己的提供者对象。

有关详细信息,请参见查看供应商详细信息。

查看股票

查看供应商的股票与你共享,您可以使用数据浏览,砖统一目录的CLI或显示股票在提供者SQL命令在砖砖笔记本或SQL查询编辑器。

权限要求:你必须是一个metastore管理,使用提供者特权,或自己的提供者对象。

有关详细信息,请参见查看股票,提供者已经与你共享。

创建一个目录

使数据共享访问您的团队,您必须创建一个共享的目录。创建一个共享目录,您可以使用数据浏览,砖统一编目CLI或SQL命令在砖砖笔记本或SQL查询编辑器。

权限要求:metastore管理,用户的CREATE_CATALOG和使用提供者统一目录metastore特权,或一个用户CREATE_CATALOG特权和提供程序对象的所有权。

创建目录(如果不存在]<目录- - - - - -的名字>使用分享<提供者- - - - - -的名字>。<分享- - - - - -的名字>;

砖unity-catalog目录创建——名称<目录名称> / <提供者姓名> /提供者——分享<共享名>

目录创建一个共享目录类型的三角洲共享。您可以查看浏览器目录详细信息页面的数据类型或通过运行描述目录笔记本或砖SQL查询的SQL命令。

δ共享目录可以相同的方式管理定期统一目录metastore目录。您可以查看、更新和删除一个三角洲共享目录使用数据浏览,砖CLI和利用显示目录,描述目录,改变目录,下降目录SQL命令。

三级名称空间结构三角洲共享目录下创建的股票是一样的一个常规目录统一目录下:catalog.schema.table。

下表数据共享目录是只读的,这意味着您可以执行读取操作描述,显示,选择。

笔记本电脑在一个共享目录可以被任何用户预览和克隆使用目录在目录上。

管理模式和表的权限在三角洲共享目录

默认情况下,这个目录下的所有数据对象的所有者是一个创造者三角洲共享目录和可以为其中的任何一个管理权限。

向下继承特权,尽管一些工作区可能仍然没有提供继承的遗产安全模型。看到继承模型。任何用户授予选择目录将有特权选择特权模式和表的所有特权的目录,除非撤销。你不能授予特权给编写或更新访问共享目录或对象在δ共享目录。

目录所有者可以委托其他用户或组的数据对象的所有权,从而允许用户管理权限和对象生命周期的能力。

详细信息管理数据对象上的特权使用统一目录,看看统一目录管理权限。

一个共享的表中读取数据

你可以阅读表在共享数据使用任何工具的砖用户:数据浏览,笔记本,SQL查询,砖CLI和砖REST api。你必须有选择特权在桌子上。

查询一个表的历史数据

如果历史是共享的表,您可以查询的表数据的版本或时间戳。需要砖运行时的12.1或以上。

例如:

选择*从疫苗。vaccine_us。vaccine_us_distribution版本作为的3;选择*从疫苗。vaccine_us。vaccine_us_distribution时间戳作为的“2023-01-01”就是;

此外,如果更改数据提要(CDF)启用表,你可以查询它。版本和时间戳都支持:

选择*从table_changes(“vaccine.vaccine_us.vaccine_us_distribution”,0,3);选择*从table_changes(“vaccine.vaccine_us.vaccine_us_distribution”,“2023-01-01”就是,“2022-02-01”就是);

改变数据提要的更多信息,请参阅使用三角洲湖变化数据以砖。

查询一个表使用Apache火花结构化流

如果一个表是与历史,您可以使用它作为火花结构化流的源。需要砖运行时的12.1或以上。

支持选项:

• ignoreDeletes:忽略事务删除数据。

• ignoreChanges:如果文件重写处理文档更新源表中的数据修改操作,比如更新,合并成,删除(分区),或覆盖。不变行仍然可以发出。所以你的下游消费者应该能够处理重复。删除不是下游传播。ignoreChanges包容ignoreDeletes。因此,如果您使用ignoreChanges,你流将不会被删除或更新源表。

• startingVersion:从共享表版本。所有表变化从这个版本(包容)将读取流源。

• startingTimestamp:从时间戳。所有表更改后承诺或时间戳(包容)将读取流源。例子:“2023-01-0100:00:00.0”

• maxFilesPerTrigger:新文件的数量被认为是在每个micro-batch。

• maxBytesPerTrigger:在每个micro-batch被处理的数据量。这个选项设置一个“软马克斯”,这意味着一个批处理过程大约这个过程的数据量,可能超过极限为了使流查询前进情况下的最小输入单位超过这个极限。

• readChangeFeed:流读共享表的数据提要的变化。

不支持的选项:

• Trigger.availableNow

火花。readStream。格式(“deltaSharing”)。选项(“startingVersion”,0)。选项(“ignoreChanges”,真正的)。选项(“maxFilesPerTrigger”,10)。表(“vaccine.vaccine_us.vaccine_us_distribution”)

火花。readStream。格式(“deltaSharing”)\。选项(“startingVersion”,0)\。选项(“ignoreDeletes”,真正的)\。选项(“maxBytesPerTrigger”,10000年)\。表(“vaccine.vaccine_us.vaccine_us_distribution”)

火花。readStream。格式(“deltaSharing”)。选项(“readChangeFeed”,“真正的”)。表(“vaccine.vaccine_us.vaccine_us_distribution”)