开始使用统一目录

本文提供了分步指导,建立统一的目录为您的组织。它描述了如何使你的砖账户使用统一编目和如何创建您的第一个表中统一目录。

统一目录设置的概述

本节提供了一个高层次的概述如何设置你的砖账户使用统一目录和创建您的第一个表。详细的一步一步的指示,请参阅下面的部分。

设置数据砖占统一目录

让你的砖账户使用统一目录,您执行以下操作:

  1. 创建一个统一的GCS桶目录可以用来存储管理表数据云在你的谷歌账户。

  2. 为每个区域创建一个metastore组织运作。这metastore函数作为顶层容器中所有数据统一目录。

  3. 给统一目录访问GCS桶。

    作为metastore创建过程的一部分,砖生成一个谷歌云服务帐户,你使用的授权访问。

  4. 分配metastore工作区。每个工作空间都有相同的数据视图,你在统一目录管理。

  5. 添加用户、组和砖帐户服务主体。

    对于现有的砖账户,这些身份已经存在。

  6. (可选)您转metastore admin角色。

设置为用户的数据访问

设置为你的用户数据访问,您执行以下操作:

  1. 在一个工作区,创建至少一个计算资源:一个集群或SQL仓库。

    您将使用运行时计算资源查询和命令,包括grant语句数据对象中获得统一目录。

  2. 至少创建一个目录。

    目录的模式(数据库),反过来用户使用的表。

  3. 至少创建一个模式。

  4. 创建表。

每个级别的数据层次结构(目录、模式、表),您授予特权用户,组,或服务主体。您还可以使用行或列级特权授予动态视图。

需求

  • 你必须是一个砖账户管理。

  • 必须在你的砖账户保费计划。

  • 在谷歌的云,你必须有能力创建GCS桶和分配权限,您创建的GCS桶。

  • 您必须至少有一个工作区,您想要使用统一的目录。看到创建一个工作区使用帐户控制台。

配置一个谷歌云存储桶

在这个步骤中,您创建所需的GCS桶统一目录来存储和访问表数据云在你的谷歌账户管理。

  1. 登录你的谷歌云控制台和创建一个新的GCS桶在同一地区与工作区中您想要使用统一的目录。

    不允许直接用户访问这个桶。

  2. 记下桶路径(g: / /道路/ / bucket名)。

创建您的第一个metastore

创建一个metastore:

  1. 登录到砖账户控制台。

  2. 点击数据图标数据。

  3. 点击创建Metastore。

  4. 输入以下:

    • metastore的名称。

    • 你想要部署metastore的地区。

      这一定是在同一地区工作区你想用它来访问数据。确保这个匹配前面创建的GCS桶的地区。

    • GCS桶的路径,您在前面创建的任务。

  5. 点击创建。

    的提供存储访问对话框出现了。它显示了系统生成的服务帐户名称并要求你给予服务帐户GCS桶两个我的角色。保持这个对话框打开当你继续下一个任务。

给你服务帐户访问GCS桶,并分配工作空间

  1. 在另一个浏览器选项卡或窗口,去谷歌云控制台和打开你的GCS桶前一步中提供。

  2. 在许可选项卡上,单击+授权访问和分配服务帐户以下角色:

    • 存储遗留桶读者

    • 存储对象管理

    使用服务帐户的电子邮件地址作为主要的标识符。

  3. 返回到提供存储访问砖账户控制台并单击对话框权限授予。

    砖确认服务帐户有正确的访问桶。

  4. 在验证成功,您可以选择工作区metastore分配。

    学习如何分配metastores工作区,明白了为统一启用一个工作区目录。

  5. (推荐)metastore admin角色转移到一个组。

    的用户创建一个metastore是它的主人,也叫metastore管理。metastore管理员可以创建顶级metastore中的对象,如目录和可以访问表和其他对象。砖建议你重新分配metastore admin角色。看到(推荐)所有权转移的metastore一组。

添加用户和组

提示

实现一个一致的视图的用户和能够在工作区管理数据访问,统一编目引入了一个集中管理的身份系统,也被称为联合身份验证。这使管理员能够控制用户访问工作区从账户控制台和其他帐户级别接口。

统一目录metastore可以跨多个数据砖共享工作区。统一目录利用砖户头级别身份管理提供一个一致的视图的用户,服务主体,在所有工作区和组。在这个步骤中,您创建的用户和组帐户控制台,然后选择工作区可以访问这些身份。

请注意

  • 如果你有一个现有的帐户和工作区,你可能已经存在的用户和组帐户,所以你可以跳过用户和组的创建步骤。

  • 如果你有大量的用户或组在您的帐户,或者如果你喜欢管理身份之外的砖,你可以同步用户和组的身份提供商(IdP)。

添加一个用户和组使用帐户控制台:

  1. 登录到账户控制台(需要一个用户帐户管理)。

  2. 点击控制台用户管理图标用户管理。

  3. 添加一个用户:

    1. 点击用户。

    2. 点击添加用户。

    3. 为用户输入一个名称和电子邮件地址。

    4. 点击发送邀请。

  4. 添加一个组:

    1. 点击组。

    2. 点击添加组。

    3. 输入一个名称的组。

    4. 点击确认。

    5. 当出现提示时,将用户添加到组。

  5. 用户或组添加到工作区,在那里他们可以执行数据科学、工程数据,使用数据管理和数据分析任务统一目录:

    1. 在侧边栏中,单击工作空间的图标工作区选择一个工作区。

    2. 在权限选项卡上,单击添加权限。

    3. 搜索和选择的用户或组,分配权限级别(工作区用户或管理),然后点击保存。

首先,创建一个名为数据使用者。在本文的稍后部分中,使用。

创建一个集群或SQL仓库

开始创建表和分配权限之前,您需要创建一个计算资源来运行你的表和permission-assignment工作负载。

表中定义的统一目录由细粒度访问控制保护。确保访问控制执行,统一编目需要计算资源符合安全配置。非相容的计算资源不能访问表中统一目录。

砖提供了两种计算资源:

  • 集群,用于工作负载数据科学与工程和砖机器学习persona-based环境,例如,执行SQL命令在一个砖笔记本。

  • SQL仓库在砖用于执行查询的SQL。

您可以使用这些计算资源使用统一目录,这取决于您所使用的环境:SQL仓库砖SQL或集群的数据科学与工程和砖机的学习环境。

创建一个集群

创建一个集群,可以访问统一目录:

  1. 登录到您的工作区作为工作区管理员或用户允许创建集群。

  2. 点击计算图标计算。

  3. 点击创建计算。

    1. 输入一个名称为集群。

    2. 设置访问模式来共享。

      只有单用户和共享统一目录访问模式支持。看到集群访问模式是什么?。

    3. 集砖的运行时版本的来运行时:11.3 LTS (Scala 2.12,火花3.3.0)或更高版本。

  4. 点击创建集群。

具体的配置选项,请参阅创建一个集群。

创建一个SQL仓库

SQL仓库支持统一目录默认情况下,没有特殊配置要求。

创建一个SQL仓库:

  1. 登录到您的工作区作为工作区管理员或用户允许创建集群。

  2. 从角色切换,选择SQL。

  3. 点击创建并选择SQL仓库。

具体的配置选项,请参阅配置SQL仓库。

创建您的第一个表和管理权限

统一目录允许您定义访问表声明使用SQL或砖浏览器UI。设计遵循“定义一次,安全无处不在”的方法,这意味着访问规则将从所有砖工作区,尊敬的集群,在您的帐户和SQL的仓库,只要工作区共享相同的metastore。

在本例中,您将运行一个笔记本,创建一个表命名部门在主要目录和默认的模式(数据库)。此目录和模式对所有metastores自动创建。

你还可以试着运行一个例如笔记本电脑执行相同的任务。

权限要求使用目录许可。所有用户的使用目录许可的主要默认目录。没有其他的权限都必须完成这个例子除了那些你给予运行它。

  1. 创建一个笔记本并将它附加到集群中创建创建一个集群或SQL仓库。

    选择SQL作为你的笔记本语言。

  2. 下面的命令添加到笔记本和运行它们:

    格兰特使用模式,创建表在模式主要。默认的来' <用户> @ <域>。com”;

    取代<用户> @ <域>。com你的砖的用户名。你们必须用引号(附上用户名””)。

    创建表如果不存在主要。默认的。部门(deptcodeINT,deptname字符串,位置字符串);
    插入成主要。默认的。部门值(10,“金融”,“爱丁堡”),(20.,“软件”,帕丁顿的);

    你现在有一个表在统一目录。

  3. 在数据浏览器找到新表。

    在侧边栏中,单击数据图标数据,然后使用模式浏览器(或搜索)找到主要目录和默认的目录,你会发现的部门表。

    使用数据资源管理器找到一个表

    请注意,您不需要运行的集群或SQL仓库数据浏览器中浏览数据。

  4. 授予的权限表。

    作为原始表的创造者,你桌子上老板,你可以授予其他用户权限读或写。你甚至可以过户,但我们不会那样做。

    在桌子上在数据浏览器页面,去权限选项卡并单击格兰特。

    在格兰特在对话框:

    1. 选择您想给权限的用户和组。在这个例子中,我们使用一个叫做数据使用者。

    2. 选择你想要的权限授予。对于这个示例,分配选择特权和点击格兰特。

    关于统一目录权限的更多信息和权限模型,明白了统一目录管理权限。

    您还可以使用以下SQL语句授予这些权限在砖笔记本或砖的SQL查询编辑器:

    格兰特选择在主要。默认的。部门来”数据- - - - - -消费者”;

  5. 运行一个示例的笔记本,遵循一个更详细的介绍,包括目录和创造模式,总结可用的特权,一个示例查询,等等。

示例笔记本:创建您的第一个表和管理权限

您可以使用下面的示例笔记本创建一个目录,模式和表,以及管理权限。

创建和管理一个联合目录表使用Python笔记本

在新标签页打开笔记本

创建和管理一个联合目录表使用SQL笔记本

在新标签页打开笔记本

(可选)安装统一目录CLI

统一目录CLI是实验性的,但它可以是一个方便的方式来管理统一目录从命令行。它的一部分砖CLI。使用统一的CLI目录,请执行以下操作:

  1. 设置CLI。

  2. 设置身份验证。

  3. 可选地,创建一个或多个连接配置文件使用CLI。

  4. 学习如何使用砖CLI一般来说。

  5. 开始使用的统一目录CLI(遗留)。

下一个步骤