配置笔记本结果存储位置
您的组织的隐私需求可能需要存储所有互动笔记本的结果根S3存储桶云账户,而不是Databricks-managed控制平面默认一些笔记本命令的结果存储位置。
笔记本命令输出存储不同取决于你如何运行笔记本。
默认情况下,当您运行一个笔记本交互式地点击运行在笔记本上:
如果结果是小,它们存储在数据砖控制飞机,随着笔记本电脑的命令内容和元数据。
更大的结果存储在工作区中根S3存储桶在AWS帐户。砖用这个桶工作区系统数据和您的工作区DBFS根。笔记本的结果存储在工作区中系统数据桶的一部分,由用户无法访问。
当您运行一个笔记本,一份工作,通过调度或通过点击现在运行在工作页面,所有的结果都存储在工作区中根S3存储桶在您的帐户。
您可以配置您的工作区所有互动笔记本结果存储在云账户,不管结果的大小。
为互动的笔记本配置存储位置的结果
您可以配置您的工作区存储所有交互式笔记本导致AWS帐户,而不是控制飞机。您可以启用这个特性使用管理员设置页面或REST API。这个配置在笔记本电脑上运行没有影响工作,其结果已经储存在你的默认AWS帐户。
记住以下几点:
修改这个配置是有效的新结果。现有笔记本结果不感动。
一些关于结果的元数据,如表列名,继续被存储在控制飞机。
增加了存储成本可能发生在你的云提供商。
增加网络和IO延迟阅读和写作时可能发生的结果。
所有笔记本结果存储在您的帐户使用管理设置页面
作为一个工作空间管理员:
去管理员设置页面。
单击工作空间设置选项卡。
在先进的部分,单击交互式笔记本结果存储在客户帐户切换。
点击确认。
所有笔记本结果存储在您的帐户使用REST API
配置您的工作区存储所有笔记本结果使用REST API在AWS帐户:
你一定是一个工作区管理员。
你需要一个个人访问令牌。下面说明假设您已经配置了一个
. netrc与你的个人文件访问令牌,这样您可以使用- n选项旋度命令。有关详细信息,请参阅上面的文章引用。
获取当前的设置、调用得到/ workspace-conf端点和设置键来storeInteractiveNotebookResultsInCustomerAccount:
curl - n -请求\“https:// < databricks-instance > . . / api / 2.0 / workspace-conf ?键= storeInteractiveNotebookResultsInCustomerAccount '
让您的工作区AWS帐户存储交互笔记本结果,调用补丁/ workspace-conf端点和设置storeInteractiveNotebookResultsInCustomerAccount来真正的在请求主体:
curl - n -请求补丁\“https:// < databricks-instance > . . / api / 2.0 / workspace-conf '\——头“内容类型:文本/普通”\——data-raw”{“storeInteractiveNotebookResultsInCustomerAccount”:“真正的”}'
禁用功能,设置相同的标志假:
curl - n -请求补丁\“https:// < databricks-instance > . . / api / 2.0 / workspace-conf '\——头“内容类型:文本/普通”\——data-raw”{“storeInteractiveNotebookResultsInCustomerAccount”:“假”}'