从雪花读写数据
砖的砖连接器提供了一个雪花从雪花运行时支持读写数据。
请注意
你可能更喜欢Lakehouse联合会管理对雪花数据查询。看到使用Lakehouse联合运行查询。
查询一个雪花表在砖
您可以配置雪花,然后查询数据的连接。下面的代码提供了示例语法在Python中,SQL, Scala:
snowflake_table=(火花。读。格式(“雪花”)。选项(“数据表”,table_name)。选项(“sfUrl”,database_host_url)。选项(“sfUser”,用户名)。选项(“sfPassword”,密码)。选项(“sfDatabase”,database_name)。选项(“sfSchema”,schema_name)。选项(“sfWarehouse”,warehouse_name)。负载())
下降表如果存在snowflake_table;创建表snowflake_table使用雪花选项(数据表“<表名称>”,sfUrl“< database-host-url >”,sfUser“<用户名>”,sfPassword“<密码>”,sfDatabase“<数据库名称>”,sfSchema“<模式名称>”,sfWarehouse“< warehouse-name >”);选择*从snowflake_table;
瓦尔snowflake_table=火花。读。格式(“雪花”)。选项(“数据表”,table_name)。选项(“sfUrl”,database_host_url)。选项(“sfUser”,用户名)。选项(“sfPassword”,密码)。选项(“sfDatabase”,database_name)。选项(“sfSchema”,schema_name)。选项(“sfWarehouse”,warehouse_name)。负载()
笔记本的例子:雪花连接器的火花
以下笔记本提供简单的例子如何写数据和读取数据的雪花。看到使用火花连接器为更多的细节。特别是,看到设置配置选项的连接器对所有配置选项。
提示
避免暴露你的雪花在笔记本使用用户名和密码秘密,这中演示了笔记本。
常见问题(FAQ)
为什么不我火花DataFrame列在雪花出现在相同的顺序吗?
火花的雪花连接器不尊重表中列的顺序写入;您必须显式地指定DataFrame和雪花列之间的映射。指定这个映射,使用columnmap参数。
为什么整数数据写入雪花读回小数吗?
雪花代表所有整数类型数量,这可能导致数据类型变化的数据写入和读取数据时从雪花。例如,整数可以转换成数据小数当编写雪花,因为整数和小数在语义上等价的雪花(见雪花数值数据类型)。