连接dbt Cloud
DBT(数据构建工具)是一种开发环境,允许数据分析师和数据工程师通过简单地编写选择语句来转换数据。DBT处理将这些选择语句转换为表和视图。dbt将代码编译为原始SQL,然后在Databricks中的指定数据库上运行该代码。DBT支持协作编码模式和最佳实践,如版本控制、文档和模块化。
DBT不提取或加载数据。DBT只关注转换步骤,使用“加载后转换”体系结构。DBT假设您的数据库中已经有了数据的副本。
本文主要介绍dbt Cloud。dbt Cloud配备了调度作业、CI/CD、服务文档、监控和警报以及集成开发环境(IDE)的交钥匙支持。
还可以使用dbt的本地版本dbt Core。dbt Core使您能够在本地开发机器上的文本编辑器或IDE中编写dbt代码,然后从命令行运行dbt。dbt Core包括dbt CLI (Command Line Interface)。dbt CLI是免费使用的开源工具。bob下载地址有关更多信息,请参见连接到dbt核心.
因为dbt Cloud和dbt Core可以使用托管的git存储库(例如,在GitHub, GitLab或BitBucket上),你可以使用dbt Cloud创建一个dbt项目,然后让它对你的dbt Cloud和dbt Core用户可用。有关更多信息,请参见创建dbt项目而且使用现有项目在DBT网站上。
要了解dbt的一般概况,请观看以下YouTube视频(26分钟)。