开始
加载和管理数据
处理数据
政府
引用和资源
2023年8月1日更新
给我们反馈
read_file
适用于:砖的SQL砖运行时13.1及以后
读取文件在一个位置并返回数据以表格形式提供。
支持阅读JSON,CSV,文本,BINARYFILE,拼花,AVRO,兽人文件格式。可以自动检测文件格式和推断出一个统一的模式在所有文件。
JSON
CSV
文本
BINARYFILE
拼花
AVRO
兽人
read_file(路径(,option_key= >option_value](…])
路径:一个字符串的URI的位置数据。支持阅读从Azure数据存储Gen2湖(“abfss: / /”),S3 (s3: / /)和谷歌云存储(“gs: / /”)。可以包含着。看到文件发现为更多的细节。
路径
字符串
“abfss: / /”
s3: / /
“gs: / /”
option_key:的名称选项配置。你需要使用引号(“)选项包含点(。)。
option_key
。
option_value:一个常数表达式设置选项。接受文字和标量函数。
option_value
下一个表组成的数据从文件读取给定路径。
read_file能读懂一个人提供一个目录下的文件或阅读文件。read_file递归地发现所提供的目录下的所有文件,除非一个一团提供的指示吗read_file递归到一个特定的目录模式。
水珠模式可用于过滤目录和文件时提供的路径。
模式
描述
吗?
匹配任何单个的字符
*
匹配零个或多个字符
(美国广播公司)
匹配一个字符的字符集{a, b, c}。
的[a -ž]
匹配一个字符的字符范围{…z}。
(^)
匹配一个字符不是字符集或距离{}。请注意,^字符必须立即出现右边的支架。
^
{ab、cd}
匹配字符串的字符串集{ab、cd}。
{ab, c{德,跳频}}
匹配字符串的字符串集{ab, cde, cfh}。
read_file使用自动加载程序严格的水珠时发现文件的粘稠。这是配置的useStrictGlobber选择。当严格的水珠被禁用,斜杠(/),一个明星模式等/ * /可以扩展到发现多个目录。看下面的例子的不同行为。
useStrictGlobber
/
/ * /
文件路径
严格的水珠禁用
严格的水珠启用
/ / b
/ a / b / c / file.txt
是的
/ / b_dir / c / file.txt
没有
/ / b.txt
/ a / b /
/ / * / c /
/ a / b / c / d / file.txt
/ / * / d /
/ a / b / x / y / c / file.txt
/ / * / c
/ a / b / c_file.txt
/ / b / cookie / file.txt
/ / b *
/ a / b / file.txt
/ / {0. txt, 1. txt}
/ / 0.三种
/ / * / {0. txt, 1. txt}
/ a / b / [cde-h] /我/
/ a / b / c / i / file.txt
可以显式地提供文件的模式read_file与模式选择。不提供模式时,read_file试图推断出一个统一的模式发现的文件,除非需要阅读所有的文件限制声明中使用。即使使用限制查询,一个更大的比所需的文件集可能读取返回一个更具代表性的数据模式。砖自动添加一个限制声明为选择查询在笔记本和SQL编辑器如果用户没有提供。
限制
选择
的schemaHints选项可以用来修复推断模式的子集。看到覆盖模式推理与提示为更多的细节。
schemaHints
一个rescuedDataColumn默认情况下提供救援模式不匹配的任何数据。看到获救的数据列是什么?为更多的细节。你可以放下rescuedDataColumn通过设置选项schemaEvolutionMode= >“没有”。
rescuedDataColumn
schemaEvolutionMode= >“没有”
read_file也可以推断出分区列如果文件被存储Hive-style分区目录,/ column_name = column_value /。如果一个模式,发现分区列利用类型提供的吗模式。如果分区列不提供的一部分模式,然后推断出分区列将被忽略。
/ column_name = column_value /
如果一列存在的分区模式和数据列,的值读取数据的分区使用价值而不是价值。如果你想忽略来自目录和使用数据的值列,您可以提供的列表分区列以逗号分隔的列表partitionColumns选择。
partitionColumns
的partitionColumns选项还可以用来指导read_file在最后发现列包括推断模式。提供一个空字符串忽略所有分区列。
的schemaHints选项也可以覆盖推断模式提供一个分区列。
的文本和BINARYFILE格式有固定的模式,但是read_file也为这些格式试图推断出分区。
请注意
流只能用于三角洲生活表。
read_file可用于流表来摄取文件到三角洲湖。read_file利用自动加载器使用时在一个流表中查询。你必须使用流关键字与read_file。看到自动加载器是什么?为更多的细节。
流
当流查询中使用,read_file将使用一个示例来推断数据的模式,并且可以动态演变模式,因为它处理更多的数据。看到配置模式推理和进化自动加载程序为更多的细节。
基本选项
通用选项
JSON选项
CSV选项
拼花选项
AVRO选项
BINARYFILE选项
文本选项
兽人选项
流选项
选项
格式
类型:字符串
的数据文件格式在源路径中。Auto-inferred如果没有提供。允许的值包括:
avro:Avro文件
avro
binaryFile:二进制文件
binaryFile
csv:CSV文件
csv
json:JSON文件
json
兽人:兽人文件
拼花:阅读使用砖铺文件
文本:文本文件
默认值:无
inferColumnTypes
类型:布尔
布尔
是否当利用模式推理推断出准确的列类型。默认情况下,列是推断当推断JSON和CSV数据集。看到模式推理为更多的细节。注意,这是默认的自动加载程序的反面。
默认值:真正的
真正的
蜂巢的逗号分隔列表样式分区列你想从文件的目录结构推断。蜂巢式分区列是键值对组合等一个平等的迹象<基本路径> / = x / b = 1 / c = y / file.format。在这个例子中,分区列一个,b,c。默认情况下,这些列将自动添加到您的模式如果使用模式推理并提供<基本路径>加载数据。如果你提供了一个模式,自动加载程序预计这些列将包含在模式。如果你不想要这些列作为模式的一部分,您可以指定”“忽略这些列。此外,您可以使用这个选项,当你想要列推断复杂的目录结构的文件路径,像下面的例子:
<基本路径> / = x / b = 1 / c = y / file.format
一个
b
c
”“
<基本路径> /年= 2022 /周= 1 / file1.csv<基本路径> /年= 2022 /月= 2 /天= 3 / file2.csv<基本路径> /年= 2022 /月= 2 /天= 4 / file3.csv
<基本路径> /年= 2022 /周= 1 / file1.csv
<基本路径> /年= 2022 /月= 2 /天= 3 / file2.csv
<基本路径> /年= 2022 /月= 2 /天= 4 / file3.csv
指定cloudFiles.partitionColumns作为年、月、日将返回年= 2022为file1.csv,但月和一天列会零。月和一天将解析正确吗file2.csv和file3.csv。
cloudFiles.partitionColumns
年、月、日
年= 2022
file1.csv
月
一天
零
file2.csv
file3.csv
模式信息期间,您提供自动加载程序模式推理。看到模式提示为更多的细节。
是否使用默认的globbing行为相匹配的严格的水珠Apache引发的其他文件来源。看到常见的数据加载模式为更多的细节。在砖运行时12.0及以上。注意,这是相反的默认为自动加载程序。
以下选项适用于所有文件格式。
ignoreCorruptFiles
是否忽略腐败文件。如果这是真的,火花的工作将继续运行,当遇到损坏文件和已读过的内容仍将返回。可见,numSkippedCorruptFiles在operationMetrics列的三角洲湖历史。在砖运行时11.0及以上。
numSkippedCorruptFiles
operationMetrics
默认值:假
假
ignoreMissingFiles
是否忽略丢失的文件。如果这是真的,火花的工作将继续运行,当遇到丢失的文件和内容阅读仍将返回。在砖运行时11.0及以上。
默认值:假(真正的为复制成)
复制成
modifiedAfter
类型:时间戳字符串例如,2021-01-0100:00:00.000000UTC + 0
时间戳字符串
2021-01-0100:00:00.000000UTC + 0
一个可选的时间戳来摄取文件修改时间戳后提供时间戳。
modifiedBefore
一个可选的时间戳来摄取文件修改时间戳之前提供的时间戳。
pathGlobFilter或fileNamePattern
一个潜在的水珠模式提供选择文件。相当于模式在复制成。fileNamePattern可以用在read_file。
fileNamePattern
recursiveFileLookup
是否加载数据基地内递归目录和跳过分区推断。
allowBackslashEscapingAnyCharacter
是否允许反斜杠转义字符的任何成功。如果未启用,只有那些显式列出字符由JSON规范可以逃脱。
allowComments
是否允许使用Java, C和c++风格的评论(' / ',‘*’,' / / '品种)在解析内容。
' / '
‘*’
' / / '
allowNonNumericNumbers
是否允许的集合不是一个数字(南)令牌作为法定数量浮动值。
南
allowNumericLeadingZeros
是否允许积分数字开始额外(循环)0(例如,000001)。
allowSingleQuotes
是否允许使用单引号(撇号,性格“\”)引用字符串(字符串名称和值)。
“\”
allowUnquotedControlChars
是否允许JSON字符串包含保有的控制字符(ASCII字符值小于32,包括选项卡并换行字符)。
allowUnquotedFieldNames
是否允许使用非挂牌字段名称(允许JavaScript,但不是通过JSON规范)。
badRecordsPath
存储文件的路径记录坏JSON的信息记录。
columnNameOfCorruptRecord
列存储记录,是畸形的,不能被解析。如果模式解析设置DROPMALFORMED,本专栏将是空的。
DROPMALFORMED
默认值:_corrupt_record
_corrupt_record
dateFormat
解析日期的格式字符串。
默认值:yyyy-MM-dd
yyyy-MM-dd
dropFieldIfAllNull
是否要忽略所有空值的列或空数组和结构体在模式推理。
编码或字符集
JSON编码的文件的名称。看到charset选项列表。你不能使用utf - 16和utf - 32当多行是真正的。
charset
utf - 16
utf - 32
多行
默认值:utf - 8
utf - 8
inferTimestamp
是否尝试推断作为时间戳字符串TimestampType。当设置为真正的、模式推理明显可能需要更长时间。您必须启用cloudFiles.inferColumnTypes使用自动加载程序。
TimestampType
cloudFiles.inferColumnTypes
lineSep
两个连续的JSON记录之间的字符串。
默认值:没有,涵盖r \,\ r \ n,\ n
r \
\ r \ n
\ n
语言环境
一个java.util.Locale标识符。影响默认日期、时间戳和十进制解析JSON。
java.util.Locale
默认值:我们
我们
解析器模式在处理畸形的记录。之一“宽容”,“DROPMALFORMED”,或“FAILFAST”。
“宽容”
“DROPMALFORMED”
“FAILFAST”
默认值:宽容的
宽容的
JSON记录是否跨越多个行。
prefersDecimal
试图推断出字符串DecimalType而不是浮点数和双精度类型。您还必须使用模式推理,通过启用inferSchema或使用cloudFiles.inferColumnTypes自动加载程序。
DecimalType
inferSchema
primitivesAsString
是否要推断数字和布尔值等基本类型StringType。
StringType
是否收集所有的数据不能被解析由于模式数据类型不匹配或不匹配(包括列套管)到一个单独的列中。这一列包含在默认情况下使用时自动加载程序。有关更多细节,请参考获救的数据列是什么?。
timestampFormat
解析时间戳的格式字符串。
默认值:yyyy-MM-dd 'HH: mm: ss [.SSS] [XXX]
yyyy-MM-dd 'HH: mm: ss [.SSS] [XXX]
时区
的java.time.ZoneId解析时使用时间戳和日期。
java.time.ZoneId
存储文件的路径记录坏CSV信息记录。
charToEscapeQuoteEscaping
类型:字符
字符
使用的用来逃避字符转义引号。例如,对于以下记录:(”\ \ ",b]:
(”\ \ ",b]
如果字符逃离“\”未定义时,记录不会被解析。解析器会读取字符:[一],[\],["],[,],[]、[b]抛出一个错误,因为它找不到关闭报价。
[一],[\],["],[,],[]、[b]
如果字符逃离“\”被定义为“\”记录将被读取2的值:[一个\]和[b]。
[一个\]
[b]
默认值:' \ 0
' \ 0
一列来存储记录畸形,不能被解析。如果模式解析设置DROPMALFORMED,本专栏将是空的。
评论
定义了字符代表一行评论时发现一行文本的开始。使用' \ 0禁用不发表评论。
默认值:“\ u0000”
“\ u0000”
emptyValue
空值的字符串表示。
默认值:”“
CSV文件的编码的名称。看到charset选项列表中。utf - 16和utf - 32时不能使用多行是真正的。
enforceSchema
是否强行指定或推断模式应用到CSV文件。如果启用了选择,CSV文件的标题将被忽略。这个选项默认是忽略了在使用自动加载程序来拯救数据并允许模式演化。
逃避
解析数据时使用的转义字符。
默认值:“\”
头
CSV文件是否包含一个头。自动加载程序假设推断模式时文件头。
ignoreLeadingWhiteSpace
是否忽略主要空白每个解析值。
ignoreTrailingWhiteSpace
是否忽略尾随的空格为每个解析值。
是否来推断的数据类型解析CSV或假设所有列的记录StringType。需要一个额外的如果设置在数据传递给真正的。自动加载程序,使用cloudFiles.inferColumnTypes代替。
两个连续的CSV记录之间的字符串。
一个java.util.Locale标识符。影响默认日期、时间戳和小数解析CSV。
maxCharsPerColumn
类型:Int
Int
最大数量的角色期望从一个值来解析。可以用来避免内存错误。默认为1,这意味着无限的。
1
默认值:1
maxColumns
有多少列的硬限制记录。
默认值:20480年
20480年
mergeSchema
是否来推断模式跨多个文件和每个文件的合并模式。默认启用推断模式时自动加载程序。
解析器模式在处理畸形的记录。之一“宽容”,“DROPMALFORMED”,“FAILFAST”。
CSV档案是否跨越多个行。
nanValue
当解析non-a-number值的字符串表示FloatType和倍增式列。
FloatType
倍增式
默认值:“南”
“南”
negativeInf
当解析的字符串表示负无穷FloatType或倍增式列。
默认值:“负”
“负”
nullValue
parserCaseSensitive(弃用)
在阅读文件,是否对齐列的标题模式中声明的情况下敏感。这是真正的默认为自动加载程序。列情况下将获救的差异rescuedDataColumn如果启用。这个选项已经被弃用的readerCaseSensitive。
readerCaseSensitive
positiveInf
当解析的字符串表示正无穷FloatType或倍增式列。
默认值:“正”
“正”
preferDate
试图推断出字符串作为日期的时间戳。您还必须使用模式推理,通过启用inferSchema或使用cloudFiles.inferColumnTypes自动加载程序。
报价
使用的字符转义值字段分隔符的值。
默认值:”
”
当指定大小写敏感性行为rescuedDataColumn启用。如果这是真的,拯救数据列的名字的情况下不同模式;否则,以不区分大小写的方式读取数据。
是否收集所有数据不能被解析由于:一个数据类型不匹配,不匹配和模式(包括列套管)到一个单独的列中。这一列包含在默认情况下使用时自动加载程序。更多细节请参考获救的数据列是什么?。
9月或分隔符
列之间的分隔符字符串。
默认值:”、“
”、“
skipRows
的行数从一开始就应该被忽略的CSV文件(包括注释和空行)。如果头是真的,标题将第一unskipped和注释行。
默认值:0
0
unescapedQuoteHandling
策略来处理非转义引号。允许选择:
STOP_AT_CLOSING_QUOTE:如果保有的报价在输入,积累援引性格和价值进行解析的引用值,直到找到关闭报价。
STOP_AT_CLOSING_QUOTE
BACK_TO_DELIMITER:如果保有的报价在输入,考虑到价值作为非上市价值。这将使当前的解析值的解析器积累所有字符直到定义的分隔符9月是发现。如果没有找到分隔符的值,解析器将继续积累从输入直到分隔符或行结束字符。
BACK_TO_DELIMITER
9月
STOP_AT_DELIMITER:如果保有的报价在输入,考虑到价值作为非上市价值。这将使解析器积累所有字符直到定义的分隔符9月或发现一行结束输入。
STOP_AT_DELIMITER
SKIP_VALUE:输入,如果找到保有的报价的内容解析给定的值将被忽略(直到找到下一个分隔符)和价值nullValue将会产生。
SKIP_VALUE
RAISE_ERROR:输入,如果找到保有的报价TextParsingException将抛出。
RAISE_ERROR
TextParsingException
默认值:STOP_AT_DELIMITER
datetimeRebaseMode
控制变基之间的日期和时间戳值朱利安和预期的公历日历。允许的值:异常,遗产,纠正。
异常
遗产
纠正
默认值:遗产
int96RebaseMode
控制的变基INT96时间戳值之间朱利安和预期的公历日历。允许的值:异常,遗产,纠正。
是否来推断模式跨多个文件和每个文件的合并模式。
avroSchema
Avro格式的用户提供的可选模式。阅读Avro时,这个选项可以设置为一种进化模式,这是兼容与实际Avro但是不同的模式。反序列化的模式将与进化模式一致。例如,如果您设置一个进化模式包含一个额外的列的默认值,读取结果将包含新列。
是否来推断模式跨多个文件和每个文件的合并模式。mergeSchemaAvro不放松的数据类型。
二进制文件没有任何额外的配置选项。
编码
文本文件的编码的名称。看到charset选项列表。
两个连续的文本记录之间的字符串。
默认值:没有,涵盖r \,\ r \ n和\ n
wholeText
是否要读取一个文件作为一个单独的记录。
当使用这些选项适用read_file在一个流表查询或流。
allowOverwrites
是否处理文档文件被修改后的发现。最新版本的文件将被处理在刷新如果它已被修改自最后一次成功刷新查询开始时间。
includeExistingFiles
是否在流处理的输入包括现有的文件路径或只处理新文件初始设置后到达。评估这个选项只有当你开始为第一次流。改变这个选项后重启流没有影响。
maxBytesPerTrigger
类型:字节字符串
字节字符串
新处理字节的最大数量在每一个触发器。您可以指定一个字节字符串等10克限制每个microbatch 10 GB的数据。这是一个软最大。如果你有文件3 GB,砖过程microbatch 12 GB。一起使用时maxFilesPerTrigger,砖消耗的下限maxFilesPerTrigger或maxBytesPerTrigger,首先达到哪个。
10克
maxFilesPerTrigger
类型:整数
整数
处理新文件的最大数量在每一个触发器。一起使用时maxBytesPerTrigger,砖消耗的下限maxFilesPerTrigger或maxBytesPerTrigger,首先达到哪个。
默认值:1000
schemaEvolutionMode
发展模式的模式中发现新列数据。默认情况下,列是推断作为字符串当推断JSON数据集。看到模式演化为更多的细节。这个选项不适用文本和binaryFile文件。
默认值:“addNewColumns”当一个模式没有提供。“没有”否则。
“addNewColumns”
“没有”
schemaLocation
存储位置推断模式和后续更改。看到模式推理为更多的细节。模式位置使用时不需要在流表查询。
在给定的路径,读取文件可用。检测数据的格式和模式。>选择*从read_file(“abfss: / / container@storageAccount.dfs.core.windows.net/base/path');——在给定的路径读取headerless CSV文件提供的模式。>选择*从read_file(“s3: / /桶/路径”,格式= >“csv”,模式= >“int id、ts时间戳、事件字符串”);——推断CSV文件头的模式。因为不提供的模式,认为头——CSV文件。>选择*从read_file(“s3: / /桶/路径”,格式= >“csv”)——读起来有一个csv文件后缀。>选择*从read_file(s3: / /桶/道路/ * . csv”)——读一个JSON文件>选择*从read_file(“abfss: / / container@storageAccount.dfs.core.windows.net/path/single.json')——读取JSON文件和覆盖的数据类型列id的整数。>选择*从read_file(“s3: / /桶/路径”,格式= >json的,schemaHints= >“int id”)——昨天读取文件上传或修改。>选择*从read_file(“gs: / /桶/ avroData”,modifiedAfter= >date_sub(当前日期(),1),modifiedBefore= >当前日期())——创建一个增量表和存储源文件路径的一部分数据>创建表my_avro_data作为选择*,_metadata。file_path从read_file(“gs: / /桶/ avroData”)——创建一个流表,流程文件,仅出现在表的创建。——表将最有可能是空的(如果没有时钟脉冲相位差)在第一次创建后,——未来的刷新会带来新的数据。>创建或刷新流媒体表avro_data作为选择*从流read_file(“gs: / /桶/ avroData”,includeExistingFiles= >假);
创建流表
read_kafka表值函数