数据网格的转变

大卫·巴克斯特:大家好,我是大卫从Avanade巴克斯特。我Avanade现代化带来的全球数据平台。bob体育客户端下载我今天在这里Dael威廉姆森。我们要谈论我们已经看到一个不断发展的趋势在过去的几年里在两个概念。一个是一个概念叫做网格数据。然后与砖,灯塔和这些模式是如何融合并提供客户附加价值在总体治理也从他们如何管理和查看数据基于从产品的概念。Dael,也许你可以告诉我们一些关于什么是产业转移趋势的数据网格和有哪些,我们看到在欧洲?

Dael威廉姆森:谢谢戴夫。所以运动开始大约在两年前,这是建立在许多不同的事情。这是一个需要更多控制和自助服务与您的数据平台。bob体育客户端下载所以数据所有者的能力能够控制自己的数据,并能够组织模型和使用他们的数据。不存在这些传统的失效模式,人们搬到一个集中的模型。
第二个概念,捡起,这是更多的相关数据网格运动是这一概念的数据产品。所以出版和拥有数据和组织您的数据到这些产品集对齐到有意义的事情,不一定在你的组织和传统的数据集。产品有不同的数据类型,我们看到的形式。有些业务产品类型。有些人喜欢过程产品类型。你有见解的产品类型,这是通过机器学习、人工智能和聚合产品类型,kpi,类似这样的事情。
第三个元素,我们看到这是推动市场的数据。所以我们的想法是,“我希望能够消耗数据的含义,上下文。这些关系。“我们发现这两个模式的数据网格和Lakehouse帮助我们开始实现这个愿望的数据市场。
第四个概念是我们做了很多的东西。我们学到这个从microservice运动领域驱动设计。我们实际测量数据使用类似于像电子商务平台测量产品的性能和行为。bob体育客户端下载
我们测量数据使用帮助我们定义的域。域得到的行业模型之类的东西真的很有用,因为起动点但实际上,数据如何使用一段时间后开始给我们一个非常有趣的观点属于真正的域数据。真正有帮助的参考数据,主数据因为你实际上看到数据的静态特性。
和所有这一切,这些平台的趋势是沿着与其他数据趋bob体育客户端下载势,更广泛的市场。诸如跨行业模型。整个行业的模式,这瘦到特定于行业的数据平台。bob体育客户端下载信任的数据成为一个非常重要的事情。我们看到这生活的所有方面。
当然,有一些非常大的在欧洲特别,但它是开始增加蒸汽在世界其他地方,这个想法的安全、隐私、主权。这整个想法,事实上,数据需要由谁负责存储。我们看到,在这两个平台,云平台和边缘。bob体育客户端下载这就是创建一个巨大的复杂性在我们试图达到的目标。

大卫·巴克斯特:是的。我认为我将增加Dael,自助服务数据的概念。它已经存在了一段时间,一个数据网格的概念和数据产品是下一个进化,得到一个数据市场。最终,这就是我们的客户正在寻找和追求。是这个概念,我可以得到一个知名产品的数据可以是单个域,或者它可能是一个混合的多个域内增值数据本身。
现在让我们切换主题。让我们谈谈运动。开放的数据网格运动和很多机会为我们的客户。同时,结合思考,“我搬到云,我的数据是在一个不同的更现代的平台。bob体育客户端下载“也许你可以谈谈数据网格是什么?

Dael威廉姆森:所以在原文马丁集团和Zhamak,原作者是谁,写了起来。这个想法是专门看失效模式在许多不同的数据模式的过去。这集中,单一孤立的管道也…这个想法,这个想法的专业资源。
现在,有一个大问题,我们看到在应用程序开发多年。通过整块材料和运动,大约15年前microservices浮出水面。几乎以相同的方式,在市场上有很多触发迫使这个拉开需要组织数据的方式。这是接近的行动。它更相关。
这个想法的分布。我的意思是,我们看到的大流行。通过人们全球分布,而不是集中集中到一个办公室,但是我们也看到过生活的其他方面。比如移动物联网的优势。需要的东西需求接近它们的发生。
自助服务的心态非常围绕业务能够做更多的与他们的数据,他们自己。所以不依赖它。专有数据,很难解开,应用程序数据锁定。这是一个大问题。和我们看到的开放标准的推动解锁和云提供商开始精益。
企业数据治理是一个巨大的问题,我认为是我们在Avanade真正意识到,这是一个我们材料的方式。我们将讨论在这谈话,但AI和缩放和所有的这些东西,并能够做事情的想法与行动靠的更近,就像我说的,非常重要的。
推动因素实际上是隐私和安全与信任和真理。一定会让你觉得你想要把这些数据放在一起,但实际上,当今世界我们所做的一切都是把东西分开。所以你需要的东西更灵活和戏剧逻辑上分发数据的组织结构。

大卫·巴克斯特:如果我们考虑数据网格,这是反思一下数据的来源和谁拥有数据、管理数据的同时,我们如何分发数据。是一个公平的方式描述,交易吗?

Dael威廉姆森:这是一个公平的分类方法。实际上是很重要的东西,它不总是一个物理的东西。它也可以是一个逻辑组织结构。你组织你的数据到您的业务逻辑的产品意义和逻辑域也有意义你的业务。这些身体是否集中或者是否他们身体上分布到不同的基础设施,这是无形的。但是如果你有这种灵活性有一些的数据能够flex随着它,但它也是关于所有权。也是有能力域团队拥有和控制自己的数据。这就是这是,引发一个大的运动。

大卫·巴克斯特:是的,这是很有意义的。让我们继续在这里谈一谈的整体进化数据管理。20年前可能从15日开始。当数据仓库是做他们的入口点,我们现在有很多的云现代化和现代客户正在使用的工具,以及它如何是这个整体的一部分方程。

Dael威廉姆森:所以,我将进入一点。我们已经解决了一些关键失效模式。所以我在这里是分层失效模式,我们刚才讨论的市场力量。在右边,在指数曲线的曲线比较。这是一个非常相似的叙事砖的团队一直在谈论一段时间Lakehouse运动。我们所做的就是在几层的其他构造并行发生。这一直试图找出这些不同结构在本质上和他们如何可以免费玩。
所以仓库,我们知道大约30到40岁。高度集中,基于高固定成本、低边际成本。“我有稀缺的计算存储。因此,我需要事情集中,因为我不想买许多服务器。”
和开始的行为,这是在这个整体,两管道,hyper-specialized所有权的构造类型,因为一切都集中。当集中,你抵消…域团队能够抵消的责任。你看到很多的数据流如何进入一种仓库进入行动。
大约10年前,数据是湖,这主要是因为有很多新的数据。新的数据类型,很多大数据到来,视频,图像。如今,我们有声音,甚至气味数据。所以如何得到存储在关系数据库中,像仓库吗?所以它不能。所以湖,出生

大卫·巴克斯特:和的体积数据,它只是爆炸,对吧?

Dael威廉姆森:当然。所以大量的数据。大约五年前,我们开始看到这种分离到中心模型中。我认为很多是由诸如GDPR来还,延迟是一个巨大的因素。如果你有一个全球公司,你不希望碰到你所有的数据从一个世界,它是集中存储的一部分。所以中心开始。
两年前,我们看到的数据网格和我们看到Lakehouse的崛起。这两个动作几乎同时发生。我们发现在Avanade他们令人难以置信的免费。有很多可以做在一起,都有帮助我们的激增。我们看到在大流行的语义知识图作为一个明确的信号。
所以,这是一个非常尖锐的迹象表明,有一个指数曲线发生。如果你跟随多年的阴谋,40年,10年,5年,2年,1年,这是巨大的,因为它告诉我们,事情正在更快的在这个空间。有很多的破坏。我们没有看到每一个被一种二进制的替代品。我们看到一个堆栈的形成和我们一起工作。他们赠送的,有很多的知识。我们不是把湖的网。我们找出这些不同模式的经验如何连接在一起,给我们堆栈,因为最终,我们试图做的是民主化的数据和有一个非常整洁的组织结构,很容易找到。

大卫·巴克斯特:是啊,借对数据产品最终在这里,对吗?Dael很快,这里有几个例子,我们通过与客户的价值链。你能突出几个例子我们这里吗?

Dael威廉姆森:早期的运动,当结构像三角洲湖和δ出来,我甚至不认为人们已经意识到多么巨大,创新真的是。这是一个令人难以置信的开源产品在今天的bob下载地址市场。我认为,未来,数据网格的概念和数据产品的想法,我们很早就看这个,像好,可能一两个月后他们在金融服务行业。
这么大的资本市场公司,全球在自然界中,真正感兴趣的做完全不同的事。很多的挑战,简单的事情就像一个财富管理部门,他们毫不夸张地说要等信贷价格风险。如果他们有香港市场和市场关闭,他们不能运行一个信用风险敞口,直到太平洋日落的耦合性质的所有数据平台的风险。bob体育客户端下载
我们能够做的,把事物分解成更多的产品,如函数,我们可以创建这些几乎分成依赖关系。我们做的最重要的是实际上是花费很多的学习从其他收敛模式发生在堆栈。这是一个巨大的运动改变数据目录的工具,例如。周围有很大的运动在工业空间工业物联网和数字的双胞胎。周围有很多优势和云。有microservices给了我们大量的学习领域和周围组织逻辑分成更小,可组合,有界的情况下。扩展的现实和AI给我们大量的信号实际上世界可以去的地方。
所以我们尽量不去工作在真空中,它只是一件事与另一个,所有这些事情已经帮助我们创建的这个图业务,代表一个价值链。在所有价值链,我们试图找出行动在哪里?价值在哪里,这是点,和浪费在哪里?我们如何减少链中的步骤为了最大化价值,减少时间和所有的事情。所以我们开始发现周围我们可以做实验建模简单…把事情简单。
在同一个空间中,我们发现其他客户,他们有1400应用程序在其投资银行部门。很多啤酒花的数据经过以形成一个交易员的产品。现在,如果你可以泡沫数据分成更多的价值链,你可以开始看到,有什么必要的啤酒花,如果你要做转换旅程和现代化。你不需要这些遗产,菜花建筑有机的随着时间的推移,与你在一起时的感觉。你可以重新想象的数据流需要以更精简和弹性的方式流动。

大卫·巴克斯特:是的。我认为通向数据治理作为一个话题。如果你有这些数据和数据来自不同的所有者或不同数据源的数据,如何管理?也许你可以给我们客户的概述,我们正在与一些治理思考和引进更多的分布式或联邦的治理模式。

Dael威廉姆森:所以我们学会了很有趣的一件事在早期阅读原网的文章,也看一些其他的融合模式,学习的很多领域驱动设计方法,但借用一些很老的想法。所以诸如面向对象编程,比如多态性。我们开始做的是看看…,我们实际上上升了一个等级。我们说,“好了,我们想要的数据产品。”,在我们的示例中,我将讨论很快,我们想要的数据产品和金融服务。我们做的是组织限界上下文首先,我们认为,我们去广泛的领域。财富管理、投资银行、替代数据集,选择数据集数据从外部组织,参考数据,这让我们面对它,我们坚持主数据参考数据,因为有太多的内涵。所以我们坚持这是参考数据。这是数据不会改变。
然后,我们所做的是模型的业务产品,我们已经在业务。我们想,“好吧,在财富管理,我们卖基金,对吧?我们出售抵押贷款。我们的模型数据产品组根据基金和抵押贷款。”和使用为基础,然后通过面向对象的思维方式和数据产品思考,这样就能够去,“好了,任何基金将继承基金产品组。“这自然给了我们一些事情。实际的业务开始,看看他们的反映销售的数据。我们不再谈论的所有工具,使事情发生在幕后因为很多抽象的自助服务平台的数据类型的概念。bob体育客户端下载
所以我们把前面的用户界面隐藏所有不同的伟大的技术,我们正在使用。Lakehouse是其中之一,因为它给了我们很多力量模式执行。冒泡了,我们建模数据产品与简单的标记语言,它是数据产品组和组织他们自然地进入这些领域。但业务反映他们的产品是使它真正强大的,因为它做了一件意想不到的事情。它创建了一个非常有趣的It和业务之间的桥梁。突然,他们都说着同样的语言。突然他们相互理解。这不再是讨论是否SAP或其他应用程序。它变得非常什么数据反映了业务。这是一个非常强大的我们发现的东西。
现在,我们做了很多尝试这种类型的建模和这将是什么样子。但这些东西,我们发现,在一个更多的消费者为中心的企业,更可预测。但更多的生产类型的企业,我们更倾向于,嗯,好的流程价值链是什么样子,你怎么对它建立模型产品?所以这些让我们的一些新的想法我们联邦数据治理有效地命名。你有效地创造更多的所有权结构。
现在,这不是激进。这正是互联网是如何工作的。所以互联网,基本上,一个简单的标记语言HTML。它有一个简单的接口,一个浏览器。通过这两个信号和两个基本规则,坐在幕后,他们实际上能够创建,什么是有效的大规模数据治理。因此,我们采取了很多思考的信号。

大卫·巴克斯特:太好了,Dael。现在,这里的其他概念。我认为因为这个回的终端用户或数据产品术语打开数据并把它在一个有意义的业务基础。而不是理解,这个源系统,这个源系统,或者这个源系统,我认为通向,好了,我们有了这些数据,我们已经利用灯塔,你能给我们一个例子背后的数据和元数据和如何管理?

Dael威廉姆森:那么,有趣的是,这就是橡胶开车上路。我们所做的为了显示这两个模式的互补性质我们有Lakehouse和我们所说的数据层。所以,自助服务的概念基础设施作为一个平台。bob体育客户端下载Lakehouse架构真正符合给我们的高性能版本。和图案的方法,我们在我们所做的。现在,Avanade,我们显然有一个瘦到Azure。所以我们使用Azure砖和Azure数据商店坐落在湖。我们使用三角洲格式模型数据在青铜,白银,和金色徽章,对吧?现在,看起来像在元数据是我们应用数据网格的思想和很多这种面向对象的数据建模,但我们做的元数据。
有几个原因。数据越来越重。所以视频不是快速复制。我们看到声音的放大数据之类的东西,但也容易在元数据模型。你不需要改变整个数据结构。是的,有一些质量之间的相互制衡,但诸如三角洲给你很多非常有用的工具来帮助你做很多更简单、更好的性能。
切换回建模的方法,你可以,我们看到银区作为一个很好的空间创建一个几乎标准化设置为您的数据产品。正如我之前说的,我们有这些不同的数据产品类型,我们有不同的数据产品组。所以数据产品类型你的业务数据产品和那些是你带来的跨组织的数据来源。见解产品类型派生。当然,你有处理数据产品类型,这几乎是在业务流程和如何这些建模。
我们仍在做最后一个方面,成为一种有趣的探索。我们当时做的是我们创建不同的反射。示例中,我在这里向你们展示是我们从一群主要卫生保健提供者,我们正在做这项工作。现在,在这个例子中,我们开始看到在医疗保健,你有不同的全球标准。公制,英制然后还有建模数据的不同方式。你有简约的数据合成和统计数据。这是两个完全不同的采用不同的国家。
所以我们去了,“好吧,我们就创造两种。为什么不呢?“我们也创造了其他反射。所以使用ICD-11,健康报告标准。我们也使用了一个开源的本体种子营bob下载地址地,不幸的是已经弃用,但我们正在努力本体的一个新版本。这是给我们,早开始和信号数据的市场会是什么样子。所有这一切发生在元数据的土地,都使用大量的数据网格在产品背后的思考和域但添加我们自己的进化而言我们模型的东西,我们称之为我们的统一分析建模方法。bob体育亚洲版

大卫·巴克斯特:伟大的Dael。如果我们谈论你如何把这个生活从用例的角度?的关键构件和抽象到执行的功能,也许你可以谈一谈。

Dael威廉姆森:我们想让更多的客户。和我们的想法,数据基础设施是一个平台。bob体育客户端下载我们想为我们的客户提供,作为一个服务,这样他们可以做更多的数据,元数据建模的数据,他们可以做很多自己更民主化的数据管理和所有权,这符合联邦数据治理模型。
它几乎提供了工具背后的企业一个非常简单的接口,允许他们从数据集创建自己的数据产品,他们登记和管理。我们也想民主化治理,所以创建整个所有权结构。然后,我们学习到目前是我们如何创造更多的市场数据类型的信号?所有这些都是打包成我们打电话用例工厂,因为我们想做这些用例的进化和增量编程数据平台的进化云提供我们。bob体育客户端下载

大卫·巴克斯特:谢谢。我想说,这是一个旅程,对吧?你不会躺下一个数据网格和映射您的整个组织一举。这使我们走向结束。Avanade来帮助。我们提供数据架构、评估和指导。我们可以帮助你的用户和使用分析,导致对一个数据网格如何帮助?我们可以帮助数据价值链,我们谈论,这是端到端数据源和值的映射回业务。然后,如果有创新,这是需要显示一个数据网格可以符合您的组织,我们有服务。与此同时,我要感谢大家,享受2001峰会和Dael数据和人工智能,最后的话在这里吗?

Dael威廉姆森:不,这是所有乐趣。我们爱的旅程的每一分钟,我们希望破灭的一份报告,就问几个问题。这将是伟大的网络和交换意见。

大卫·巴克斯特:谢谢大家。