在砖Lakehouse的数据对象

砖Lakehouse组织与三角洲湖云存储的数据对象存储熟悉关系数据库、表和视图。该模型结合了许多的好处的企业数据仓库数据的可伸缩性和灵活性。BOB低频彩了解更多关于这个模型是如何工作的,以及对象之间的关系数据和元数据,这样您就可以应用最佳实践在设计和实现数据砖Lakehouse为您的组织。

在砖Lakehouse数据对象是什么?

砖Lakehouse架构结合与三角洲湖协议在云存储的数据对象存储元数据登记metastore。有五个主要砖Lakehouse中的对象:

目录:一个分组的数据库。
数据库或模式:对象的分组在一个目录中。数据库包含表、视图和函数。
表:行和列的集合对象存储中存储为数据文件。
视图:保存查询通常与一个或多个表或数据来源。
函数:保存逻辑返回标量值或一组行。

为保护对象的信息统一目录,看看可获得的对象模型。

什么是metastore ?

metastore包含所有的元数据定义lakehouse数据对象。砖提供了以下metastore选项:

统一目录:您可以创建一个metastore存储和跨多个砖共享元数据工作区。统一目录管理帐户级别。
蜂巢metastore:砖商店所有的元数据内置蜂巢metastore为管理服务。metastore的实例部署到每个集群和安全地访问元数据为每个客户从一个中央存储库工作区。
外部metastore:你也可以自己带metastore砖。

不管metastore使用,砖与表相关联的所有数据存储在对象存储配置云账户的客户。

目录是什么?

目录是最高的抽象(或粗粒)砖Lakehouse关系模型。每个数据库将被关联到一个目录中。在metastore目录作为对象存在。

在引入统一目录之前,砖使用双重名称空间。目录是第三层统一目录命名空间模型:

             catalog_name。database_name。table_name
            

内置的蜂巢metastore只支持一个目录,hive_metastore。

什么是数据库?

数据库是数据对象的集合,如表或视图(也称为“关系”),和功能。在砖,术语“模式”和“数据库”是交替使用(而在许多关系系统,数据库是模式)的集合。

数据库将永远被关联到一个云对象存储位置。你可以指定一个位置当注册一个数据库时,要记住:

的位置关联到一个数据库总是被认为是一个成功的位置。
创建一个数据库不创建任何文件在目标位置。
的位置数据库将决定默认位置的数据登记的所有表的数据库。
成功删除一个数据库将递归删除所有数据和文件存储在一个位置管理。

这个位置由数据库管理和数据文件之间的相互作用是非常重要的。为了避免意外删除数据:

不共享数据库位置跨多个数据库定义。
不注册一个数据库已经包含数据的位置。
数据生命周期管理独立于数据库,将数据保存到一个位置,不是嵌套在任何数据库的位置。

一个表是什么?

一个砖表是结构化数据的集合。δ表存储数据作为云对象存储上的文件和注册表的目录元数据中的metastore目录和模式。三角洲湖是表中创建的默认存储提供商砖,砖三角洲表中创建的所有表,默认情况下。因为δ表在云存储数据对象存储和通过metastore提供参考数据,用户在一个组织可以使用他们喜欢的api访问数据;砖,这包括SQL, Python, PySpark, Scala, R。

请注意,有可能砖不三角洲的表上创建表。这些表不是由三角洲湖,也不会提供δ的ACID事务和优化性能表。注册表落入这个类别包括表数据外部系统和注册表其他文件格式的数据湖。

有两种类型的表在砖,管理和非托管(或外部)表。

请注意

的三角洲生活表区分生活表和现场直播表不是从表中执行的视角。

什么是管理的表?

砖管理元数据和数据管理表;当你删除一个表,你也删除底层数据。数据分析师和其他用户,主要工作在SQL可能更喜欢这种行为。管理表默认创建一个表。管理表的数据驻留在位置数据库的登记。这管理关系数据位置和数据库意味着为了管理表移动到一个新的数据库,你必须重写所有的数据到新的位置。

有许多方法来创建管理表,包括:

              创建表table_name作为选择*从another_table
             

              创建表table_name(field_name1INT,field_name2字符串)
             

              df。写。saveAsTable(“table_name”)
             

一个非托管表是什么?

砖仅为非托管(外部)管理元数据表;当你删除一个表,你不影响底层数据。总是指定一个非托管表位置在表创建;你可以注册一个现有的数据文件的目录表或表时提供一个路径定义。因为独立管理数据和元数据,您可以重命名一个表或注册一个新数据库,而不需要任何数据。工程师通常喜欢非托管数据表和他们提供生产数据的灵活性。

有许多方法来创建非托管表,包括:

              创建表table_name使用δ位置/道路/ /现有数据的
             

              创建表table_name(field_name1INT,field_name2字符串)位置/ /空/目录/路径的
             

              df。写。选项(“路径”,/ /空/目录/路径”)。saveAsTable(“table_name”)
             

什么是视图?

一个视图存储文本查询通常与一个或多个数据源或metastore中的表。在砖,视图是相当于一个火花DataFrame持续作为数据库中的一个对象。与DataFrames不同,你可以从任何查询视图砖产品的一部分,如果你允许这样做。创建一个视图不处理或写任何数据;只有注册的查询文本metastore相关联的数据库中。

暂时的观点是什么?

一个临时视图范围有限,持久性和不是注册一个模式或目录。临时的生命周期视图基于不同环境的使用:

在笔记本和工作,临时视图范围到笔记本或脚本的水平。他们不能引用外部的笔记本中宣称,和将不再存在时,笔记本从集群分离。
在砖SQL,临时视图范围查询。多个语句在同一个查询可以使用临时观点,但它不能被其他查询中引用,即使在相同的仪表板。
全局临时观点局限于集群级别和笔记本电脑之间可以共享或共享计算资源的工作。砖建议使用适当意见而不是全局临时表acl的观点。

一个函数是什么?

函数允许您将用户定义的逻辑与数据库相关联。函数可以返回标量值或设置的行。函数是用于聚合数据。砖允许您保存的各种语言的功能,根据您的执行上下文,使用SQL被广泛支持。您可以使用函数来提供管理访问自定义逻辑在各种语境下的砖产品。

关系对象在三角洲生活工作表怎么样?

三角洲生活表使用声明性语法来定义和管理DDL, DML、和基础设施的部署。三角洲生活表使用一个“虚拟模式”的概念在逻辑计划和执行。三角洲生活表可以在砖环境与其他数据库交互,和δ生活表可以发布和持续表指定一个目标数据库查询其他的管道配置设置。所有表中创建生活表δ表,并且可以声明为管理或非托管表。

视图可以宣布在三角洲生活表,这些应该被认为是临时视图内的管道。临时表在三角洲住表是一个独特的概念:这些表保存数据存储,但不公布数据到目标数据库中。

等操作应用变化成同时,将注册表和视图数据库;表名会用下划线(_)和视图将表名宣布的目标应用变化成操作。隐藏视图查询相应的表来实现结果。