在Databricks上部署dbt变得更加简单
2021年12月6日 在bob体育客户端下载平台的博客
在Databricks,没有什么比提高用户的生产效率更让我们高兴的了,这就是为什么我们很高兴地宣布dbt的本机适配器。现在使用SQL在Databricks上开发健壮的数据管道比以往任何时候都容易。
印度生物技术部是一个流行的开源工具,让新bob下载地址一代的“分析工程师”使用简单的SQL构建数据管道。所有内容都以纯文本的形式组织在目录中,从而简化了版本控制、部署和可测试性。
新的专用的dbt-databricks适配器在今天的公开预览中可用,DBT开发人员可以通过简单的运行开始PIP安装dbt-databricks
.这个包是开源的,建立在dbt实验bob下载地址室和其他贡献者领导的出色工作的基础上dbt-spark可能的。我们不仅通过消除对ODBC驱动程序的任何依赖来简化安装,还采用了dbt的“约定优于配置”来获得最大性能:
- dbt模型默认使用Delta格式
- 增量模型总是利用Delta Lake的MERGE语句
- 像唯一键生成这样昂贵的查询现在加速了光子
随着我们继续改进dbt和Databricks Lakehouse平bob体育客户端下载台.凭借破纪录的性能和对标准SQL的完全支持,它是运行数据仓库工作负载(包括用dbt构建的数据管道)的最佳场所。
我们也对dbt Cloud即将加入感到兴奋合作伙伴联系, Databricks为客户提供一站式服务,帮助他们发现和整合市场上最好的数据和人工智能工具。dbt Cloud是由dbt实验室提供的托管服务,它帮助数据分析师和数据工程师协作构建和生产dbt项目。从明年1月开始,Databricks的任何客户都可以从Partner Connect免费试用dbt Cloud,并自动集成这两种产品。也就是说,这两种产品已经很好地结合在一起,我们鼓励你这样做连接dbt云到Databricks今天。
说到dbt实验室,我们希望在今天开始的会议Coalesce上看到您!雷诺兹·辛会有一个炉边谈话dbt实验室的CPO Drew Banin和Ricardo Portillo将会做演讲为金融服务建立数据管道利用dbt和Databricks。你一定要看看它,并加入dbt社区Slack上的对话# coalesce-databricks.期待您的反馈!
请继续关注Databricks如何与dbt一起工作的更多令人兴奋的更新,并观看我们的Github库对于新版本。