介绍数据在谷歌云-现在在公共预览
2021年3月23日 在公告
上个月,我们宣布谷歌云上的数据,一项联合开发的服务,允许数据团队(数据工程、数据科学、分析和ML专业人员)将数据存储在一个简单、开放的湖屋平台上,用于所有数据、人工智能和分析工作负载。bob体育客户端下载今天,我们推出谷歌Cloud上的Databricks的公开预览.
在与我们的客户交谈时,有一件事是明确的:他们希望构建现代数据架构来推动真正的业务影响,无论是通过使用ML个性化客户体验,改善产品内的游戏体验或提供救生医疗用品(只是举几个例子)。但是,许多人发现自己陷入了跨数据类型(结构化、非结构化和半结构化数据)的难以管理的数据量,同时还要处理各种应用程序。对于日常工作,数据团队必须将各种开源库和工具组合在一起,以便进行进一步的分析。bob下载地址数据科学、机器学习工程和部署团队之间的多次交接减缓了开发速度。在多个不同的数据系统之间传输数据的复杂性和成本,以及管理多个数据副本和安全模型的挑战都增加了开销。
考虑到这些痛点,我们相信构建一流的Lakehouse平台的方法是采用开放标准。bob体育客户端下载开放标准、开放api、开放平台——它让客户可以选择基于简单的协作bob体育客户端下载体验的服务来构建他们的现代数据架构。云共享这个“开放的愿景”通过开放的云服务,这意味着我们的共同客户可以选择正确的工具来解决任何问题。
开放数据湖与Delta湖和谷歌云存储
开放技术使我们能够将分析和人工智能(AI)与一个湖屋统一在现有的数据湖之上,这就是Delta lake。数据湖是存储大量原始数据(结构化、非结构化、视频、文本、音频)的一种经济实惠的方式,通常采用开源格式,如广泛使用的Apache Parquet。bob下载地址然而,许多公司都在努力在生产中运行他们的分析和AI应用程序,因为他们面临着下面列出的许多挑战。
Delta Lake是一个开放格式的存储层,提供可靠性、性能和治理来解决这些数据湖挑战。谷歌云上的Databricks基于Delta Lake和Parquet格式,因此您可以将所有数据保存在谷歌云存储(GCS)中,而无需移动或复制到多个地方。这允许您存储和管理所有数据,以便在数据湖上进行分析。
使用易于使用的ML和AI服务进行更快的实验
一旦你有了一个开放的数据湖,你就为你的数据科学团队开发和训练他们的机器学习模型奠定了基础。随着谷歌云上Databricks的可用性,数据科学家和ML工程师可以使用我们的协同数据科学和托管MLflow功能数据存放在谷歌云存储或BigQuery存储中。
谷歌云上的数据库也与谷歌云的人工智能服务套件集成。例如,你可以将MLflow模型部署到AI平台预测中进行在线服务,或者使用AI平台预先训练好的MLbob体育客户端下载 api和AutoML进行视觉、视频、翻译和自然语言处理。
结论
Databricks on谷歌Cloud带来了一个共享的愿景,将开放平台与开放云相结合,以简化数据工程、数据科学和数据分析。bob体育客户端下载想了解更多关于这BOB低频彩个联合解决方案如何统一您的所有分析和AI工作负载?注册参加我们的发布会Databricks首席执行官兼联合创始人Ali Ghodsi和谷歌Cloud首席执行官Thomas Kurian将深入探讨开放Lakehouse平台的好处,以及谷歌Cloud上的Databricks如何推动数据团队协作。bob体育客户端下载