信任，但要用数据来验证
2020年3月25日 在工程的博客
随着企业现代化其数据基础设施以做出数据驱动的决策，整个组织中的团队都成为该平台的消费者。bob体育客户端下载数据工作负载呈指数级增长，其中云数据湖成为企业级功能的集中存储，并使用不同的工具和技术从中获得见解。对于云安全团队来说，更多服务和用户的增加意味着潜在的额外漏洞和安全威胁。他们需要确保任何数据访问都遵守企业治理控制，这可以很容易地监视和审计。组织面临着平衡更广泛的数据访问以做出更好的业务决策的挑战，通过遵循无数的控制和法规来防止未经授权的访问和数据泄漏。Databricks通过审计日志提供对所有平台活动的可见性，帮助解决这一安全挑战，当与云提供商活动日志结合时，成为安全和管理团队手中强大的跟踪工具。bob体育客户端下载
Databricks审计日志
审计日志允许企业安全和管理员监视对数据和其他云资源的所有访问，这有助于与用户建立更高级别的信任。安全团队可以深入了解Databricks工作区内或从Databricks工作区内发生的一系列活动，例如:
- 集群管理
- 权限管理
- 通过Web应用程序或API访问工作区
- 还有更多……
审计日志可以配置为发送到您的云存储(Azure/AWS)．在此基础上，Databricks或任何其他日志分析服务都可以用于发现感兴趣的异常，并与基于云的通知服务集成，以创建无缝的警报工作流。我们将讨论Databricks审计日志可能成为关键安全解决方案资产的一些场景。
工作空间访问控制
问题:管理员不小心将一个新用户添加到一个组中，该组具有不应该授予该用户的较高访问级别。几天后，他们意识到这个错误，并将该用户从相关组中删除。
弱点:管理员担心用户可能在提升访问级别期间以他/她无权的方式使用了工作空间。这个特殊的组具有跨Workspace对象授予权限的能力。管理员需要确保该用户没有与其他用户共享集群或作业，这将导致访问控制方面的级联安全问题。
解决方案:管理员可以使用Databricks Audit Logs查看用户在错误组中的确切时间。他们可以分析用户在这段时间内所做的每个活动，以查看他们是否利用了工作区中的高级特权。在这种情况下，如果用户没有恶意行为，可以通过审计日志来证明。
工作空间预算控制
问题:Databricks管理员希望确保团队在分配的预算范围内使用该服务。但是一些工作空间管理员为许多用户提供了创建和管理集群的广泛控制。
弱点:管理员担心由于提高了集群配置控制，正在创建大型集群或正在调整现有集群的大小。这可能会使相关团队超出分配的预算。
解决方案:管理员可以使用审计日志来监视集群活动。他们可以看到何时创建集群或调整集群大小。这使他们能够通知用户保持在各自团队的分配预算之内。此外，管理员还可以创建集群政策为了在未来解决这个问题。
云供应商基础设施日志
Databricks日志记录允许安全和管理团队在Databricks工作区内或从Databricks工作区中演示数据治理标准的一致性。客户，尤其是受监管行业的客户，还需要记录以下活动:
- 用户对云数据存储的访问控制
- 云身份和访问管理角色
- 用户接入云网络和计算
- 还有更多……
Databricks审计日志和与不同云提供商日志的集成为满足不同程度的遵从性提供了必要的证明。现在，我们将讨论这种集成可能有用的一些场景。
资料存取及保安管制
问题:一家医疗保健公司希望确保只有经过验证或允许的用户才能访问其敏感数据。此数据位于云存储中，一组经过验证的用户可以访问此bucket。如果经过验证的用户与未经过验证的用户共享Databricks笔记本和用于访问此数据的集群，则可能出现问题。，/p>
弱点:未经验证的用户可以访问敏感数据，并可能将其用于恶意目的。管理员需要确保数据访问安全控制中没有漏洞，并通过审计谁正在访问云存储来验证这一点。
解决方案:管理员可以强制Databricks用户只能通过启用了直通功能的(Azure/AWS)集群。这将确保即使用户意外地与未经过验证的用户共享对该集群的访问权，该用户也不能访问底层数据。使用云存储访问日志功能，审计哪个用户正在访问哪个文件/文件夹(Azure/AWS)．这些日志将证明只有经过验证的用户才能访问可用于满足合规性的分类数据。
数据泄露控制
问题:一组管理员被允许在云帐户/订阅中增加权限，以提供Databricks工作空间，并管理相关的云基础设施，如安全组，子网等。其中一个管理员更新出站安全组规则，以允许额外的出口位置。
弱点:用户现在可以访问Databricks工作区，并将数据转移到添加到出站安全组规则的新位置。
解决方案:管理员应始终遵循云中的共享责任模型的最佳实践，并仅将提升的云帐户/订阅权限分配给最少一组授权超级用户。在这种情况下，可以监视是否正在进行此类更改，以及由谁使用云提供商活动日志(Azure/AWS)．此外，管理员还应在Databricks工作空间(Azure/AWS)，并可以在Databricks审计日志中监控该访问。
从工作区审计开始
使用Databricks审计日志和各种云提供商日志跟踪工作空间活动，为安全和管理团队提供了所需的洞察力，以便允许用户访问所需的数据，同时符合企业治理控制。Databricks用户也很乐意了解需要审计的所有内容，他们在一个安全可靠的云环境中工作。这使得整个组织能够做出更多更好的数据驱动决策。我们将回顾一下值得研究的不同类型的日志:
我们计划在不久的将来深入研究如何分析上述类型的日志。在此之前，如果有任何问题，请随时与您的Databricks客户团队联系。