Unity数据目录和AI2023峰新

Lakehouse联合会、AI治理、Lakehouse监控、Lakehouse可观察性

通过 MateiZaharia市, 强纳森凯勒, 沙欣塔库尔, 迈克尔·米利鲁德, 保尔室, 托德格林斯坦, 开赛乌伦浩斯, 可Efeoglu, AdrianaIspas, yrielleSimeone, Erika Ehrli, imit卡拉并阿努姆雷曼

2023年6月28日内 bob体育客户端下载平台博客

分享此文章

治理基本原则-责任制、守法性、质量和透明度-对数据管理至关紧要-现已成为AI同样迫切的任务Databricks先入为主Unity目录bob体育客户端下载发布行业唯一统一解决云和数据平台的数据和AI治理

bob体育客户端下载组织可使用Unity目录安全发现、存取、监控并协作处理文件、表、ML模型、笔记本和仪表板遍历数据平台或云,同时利用AI提高生产率并释放湖屋环境的全部潜力

并宣布UnityCatalog最新进展湖屋联合会,AI治理AI-ower治理湖屋监控湖屋可观察性和更多

LakehouseFederation:发现管理查询数据

湖屋联合会UnityCatalog系统使组织能搭建开放性、性能强者安全数据网格架构bob体育客户端下载组织与Lakehouse联合会可利用一致性数据管理、发现和管理经验跨平台获取所有数据,包括MySQL、PostgreSQL、Amazon Redfortive、Snowflake、AzureSQL数据库、Azure Syrapse、Google大Query等数据库Unity目录高级安全特征,如行列访问控件以及标签和数据线等发现特征扩展至外部数据源,确保一致性治理实践.

AI治理-统一资料和AI目录

并扩展Unity目录管理模型, 以统一经验综合管理AI资产和数据合并简化DataOps和MLOps进程并准备组织实现AI密钥增强包括:

特征存储器和Unity目录模型注册

我们宣布模型寄存器公开预览Unity目录公开预览特征商店后期7月Unity目录是唯一治理解决方案,将所有数据和ML资产-从数据特征到模型-归并成单目录,确保全可见度和精细访问控制统一方法提供自动编译线程跟踪、集中管治和无缝跨工作空间协作,以简化MLOps并提高生产力并拥有高级监控能力,你现在可以体验提高可见性、质量、理解和控制全AI工作流

Unity目录卷数:Govern非表列数据

多例使用案例,特别是机器学习和数据科学工作量需要访问非目录数据,如图像、音频、视频或PDF文件

我们宣布卷积Unity目录卷量是一种新类型对象目录文件集合帮助你构建可缩放文件应用程序,读处理大数数据库,而不论其格式如何,包括非结构化半结构化结构化这使你能够管理、统治和跟踪非表列数据以及UnityCatalog表列数据保持调控公开预览音量大赛数周后到

AI治理:湖中监控和湖中可观察性

UnityCatalog不仅为AI提供强健治理能力,还利用AI优化治理工作流程密钥增强包括:

Lakehouse监控:监控贵组织的数据质量

确保对数据的信任和AI模型对任何一个组织的成功都至关紧要为了满足这一关键需求,我们已经引入Databricks湖屋监控由AI驱动的监测服务覆盖整个数据管道,包括数据、ML模型和特征

Databricks湖内监控为数据和ML模型管道质量问题和错误提供主动警示,包括使用AI数据分类技术自动分类识别个人识别信息Okera,我们最近获取.此外,数据团队可不遗余力地通过自生成仪表板与利益攸关方分享综合数据和ML质量报告

最后,数据团队可有效调试并使用UnityCatalog实时数据线段对监测报告中发现的任何问题进行影响评估,下至列级精简监控诊断工作流程,提供端对端综合解决方案

湖屋可观察性:湖屋所有方面系统表和仪表板

可观察性是所有资料和AI工作量的一个关键方面解决这一要求,我们宣布系统表公开预览Unity目录审计、线程和收费表,今年晚些时候将增加表

系统表是一个集中分析存储器,提供综合成本使用分析,对资源耗支提供宝贵的洞察力系统表允许用户对作业、笔记本、集群和SQL/ML端点、跟踪数据线程和访问权限进行审核分析Unity系统目录使用语言便捷查询能力,用户可建定制仪表板和笔记本,并用AI的力量将操作数据转换为可操作业务洞察力用户可进一步运用DBSQL报警系统驱动ROI改进端对端智能数据应用生命周期