如何避免在数据湖中淹没在GDPR数据主体请求中

随着GDPR执行的临近(2018年5月25日)，许多公司仍在试图弄清楚如何遵守。这是一个很大的痛点，特别是对于那些使用数据的湖泊如何存储大量数据，是如何遵守GDPR下的主要要求之一——数据主体请求，也称为“DSRs”。

什么是DSR?

GDPR对公司运营最重要的部分之一是数据主体请求。GDPR为所有欧洲数据主体(即位于欧洲的任何个人)提供了一套与其个人数据相关的列举权利，包括:

• • 访问权(即，了解控制者或处理者拥有关于个人的哪些个人数据的权利)，
  • 更正(即更新不正确的个人资料的权利)，

• 擦除(即被遗忘的权利)，以及
• 可移植性(即以机器可读格式导出个人数据的权利)。

除非有关要求是“复杂的”或“大量的”，否则公司在收到资料当事人要求后的三十天内须依从有关要求(请留意任何适用的例外情况)。

这有什么大不了的?

在数据湖中寻找数据是很困难的;确保你已经找到了关于某个特定个体的所有数据非常困难的。许多数据湖甚至不允许用户执行“删除”操作，即使一旦数据被定位，所以实际上删除它可能是不可能的。在最好的情况下，查找和删除这些数据在计算上是困难的、昂贵的和耗时的。如果一家公司在短时间内收到不止几个数据主体请求，那么为满足这些请求所花费的资源可能是巨大的。此外，不遵守GDPR可能会导致巨额罚款，最高可能高达2000万欧元(甚至更高——高达公司全球年收入的4%)。

听起来很糟糕。有什么办法吗?

幸运的是，Databricks提供了一个解决方案。Databricks Delta是Databricks平台内建的统一数据管理系统，为云数据湖带来数据可靠性和性能优化。bob体育客户端下载

Databricks Delta的结构化数据管理系统为您的数据湖添加了事务性功能，使您能够使用标准的SQL DML语句(例如DELETE、UPDATE、MERGE INTO)轻松快速地搜索、修改和清理数据。要做到这一点，首先将原始数据摄取到Delta表中，它将元数据添加到文件中。一旦摄入，您就可以轻松地搜索和修改Delta表中的单个记录，以满足DSR义务。最后一步是通过删除任何潜在的原始数据，使Delta成为唯一的真相来源。这将从原始数据集中删除任何遗留记录。我们建议与AWS或Azure建立一个30天或更短的保留策略，自动删除原始数据，这样就不需要采取进一步行动删除原始数据，以满足GDPR规定的DSR响应时间。

你能举例说明这是如何运作的吗?

假设您的组织收到了一个DSR，要求删除与Justin Olsson ((电子邮件保护))．在将原始数据输入Delta表后，Databricks Delta将使您能够查找和删除与用户相关的信息(电子邮件保护)通过运行两个命令:

（1）删除从数据在哪里电子邮件就像＇(电子邮件保护)＇；（2)真空数据;

第一个命令标识字符串为“”的记录(电子邮件保护)“存储在电子邮件一栏中，考虑到不同的情况(例如，(电子邮件保护)也会匹配)，并删除包含这些记录的数据，用删除的用户数据重写各自的底层文件。第二个命令清理Delta表，删除逻辑上已删除的任何过期记录以及在默认保留期限(例如，7天)之外的记录。

在运行这些命令并等待默认保留期以删除底层原始文件之后，您将能够声明您已经删除了与该用户相关的记录(电子邮件保护)从你的数据湖。

好吧，听起来不错，但如果我把数据放在一个Delta表中，我不会被锁定吗?如果我想去别的地方呢?

不!Databricks Delta的架构考虑到了可移植性。Databricks Delta使用开放文件格式(parquet)，您可以在任何时候(无论是您决定停止使用Delta，还是您需要将数据输出到无法读取Delta表的系统)快速轻松地将数据转换回其他工具可以读取的格式。虽然这样做，特别是在持续的基础上，会让您有额外的DSR义务删除或导出任何可能包含在从Databricks Delta移出的数据中的个人数据，但它也将从Databricks Delta的流动中受益，因为它将以一种更加结构化的格式，极大地简化了这一过程。

BOB低频彩了解更多并观看现场演示

观看我们的点播网络研讨会，你的数据湖GDPR准备好了吗?如何避免淹没在数据请求中，浏览一个演示，以及在大数据世界中克服dsr挑战的技巧。

本次网络研讨会将涵盖:

• 数据主体请求的GDPR要求
• 大数据和数据湖给组织带来了挑战
• Databricks如何改进数据湖管理，并使外科手术式查找、修改或删除个人记录成为可能
• GDPR数据治理的最佳实践
• 现场演示如何轻松实现数据请求与Databricks

看现在开始录音。