问题

作业使用Apachespark从雪花表读取,但数据框架显示时间数据不正确

snowflake直接运行相同查询时,正确时间数据返回

因果

时区值没有正确设置时区聚和雪花不匹配可能导致错误时间值,Snowflake解释工作时标和时区文档记录

求解

定时区数据bricks并没有明确定时区Snowflake

选项1:设置时区SQL语句databricks

1. 打开Databricks工作空间
2. 选择集群.
3. 选择集群修改
4. 选择编辑.
5. 选择高级选项.
6. 输入spark.sql.session.timeZone 中spark配置字段内
7. 选择确认.

选项2:设置带 init脚本所有节点时区

1. 创建 init脚本并命令如下:

   Pythondbits.fs.puts

2. 验证 init脚本全路径

   ython%fs/databricks/scrips/set_timezone.sh

3. 打开Databricks工作空间
4. 选择集群.
5. 选择集群修改
6. 选择编辑.
7. 选择高级选项.
8. 选择init脚本.
9. 输入init脚本路径.
10. 选择添加.
11. 选择确认.