开始
加载和管理数据
处理数据
政府
引用和资源
2023年8月2日更新
给我们反馈
配置选项的cloudFiles源是前缀cloudFiles所以他们在一个单独的名称空间从其他结构化流源选项。
cloudFiles
常见的自动加载程序选项
目录列表选项
文件通知选项
文件格式选项
通用选项
JSON选项
JSON
CSV选项
CSV
拼花选项
拼花
AVRO选项
AVRO
BINARYFILE选项
BINARYFILE
文本选项
文本
兽人选项
兽人
云特定选项
AWS特定选项
Azure特定选项
谷歌特定选项
您可以配置以下选项或文件目录清单通知模式。
选项
cloudFiles.allowOverwrites
类型:布尔
布尔
是否允许输入目录文件更改覆盖现有的数据。在砖运行时7.6及以上。
默认值:假
假
cloudFiles.backfillInterval
类型:时间间隔字符串
时间间隔字符串
自动装载器可以在一个给定的时间间隔触发异步回填,如。1一天回填一天一次,或1周回填一周一次。文件事件通知系统并不能保证100%交付的所有文件上传,所以您可以使用回填最终处理,保证所有文件中可用砖运行时的8.4(不支持)及以上。如果使用增量清单,您还可以使用常规回填保证最终的完整性,可用砖运行时9.1 LTS及以上。
1一天
1周
默认值:无
cloudFiles.format
类型:字符串
字符串
的数据文件格式在源路径中。允许的值包括:
avro:Avro文件
avro
binaryFile:二进制文件
binaryFile
csv:CSV文件
csv
json:JSON文件
json
兽人:兽人文件
拼花:阅读使用砖铺文件
文本:文本文件
默认值:无(所需选项)
cloudFiles.includeExistingFiles
是否在流处理的输入包括现有的文件路径或只处理新文件初始设置后到达。评估这个选项只有当你开始为第一次流。改变这个选项后重启流没有影响。
默认值:真正的
真正的
cloudFiles.inferColumnTypes
是否当利用模式推理推断出准确的列类型。默认情况下,列是推断作为字符串当推断JSON和CSV数据集。看到模式推理为更多的细节。
cloudFiles.maxBytesPerTrigger
类型:字节字符串
字节字符串
新处理字节的最大数量在每一个触发器。您可以指定一个字节字符串等10克限制每个microbatch 10 GB的数据。这是一个软最大。如果你有文件3 GB,砖过程microbatch 12 GB。一起使用时cloudFiles.maxFilesPerTrigger,砖消耗的下限cloudFiles.maxFilesPerTrigger或cloudFiles.maxBytesPerTrigger,首先达到哪个。这个选项一起使用时没有影响Trigger.Once ()(弃用)。
10克
cloudFiles.maxFilesPerTrigger
Trigger.Once ()
cloudFiles.maxFileAge
多长时间重复数据删除的文件事件跟踪目的。砖不建议调整该参数除非你摄入数据顺序的数以百万计的文件一个小时。上看到的部分事件保留为更多的细节。
类型:整数
整数
处理新文件的最大数量在每一个触发器。一起使用时cloudFiles.maxBytesPerTrigger,砖消耗的下限cloudFiles.maxFilesPerTrigger或cloudFiles.maxBytesPerTrigger,首先达到哪个。这个选项一起使用时没有影响Trigger.Once ()(弃用)。
默认值:1000
cloudFiles.partitionColumns
蜂巢的逗号分隔列表样式分区列你想从文件的目录结构推断。蜂巢式分区列是键值对组合等一个平等的迹象<基本路径> / = x / b = 1 / c = y / file.format。在这个例子中,分区列一个,b,c。默认情况下,这些列将自动添加到您的模式如果使用模式推理并提供<基本路径>加载数据。如果你提供了一个模式,自动加载程序预计这些列将包含在模式。如果你不想要这些列作为模式的一部分,您可以指定”“忽略这些列。此外,您可以使用这个选项,当你想要列推断复杂的目录结构的文件路径,像下面的例子:
<基本路径> / = x / b = 1 / c = y / file.format
一个
b
c
”“
<基本路径> /年= 2022 /周= 1 / file1.csv<基本路径> /年= 2022 /月= 2 /天= 3 / file2.csv<基本路径> /年= 2022 /月= 2 /天= 4 / file3.csv
<基本路径> /年= 2022 /周= 1 / file1.csv
<基本路径> /年= 2022 /月= 2 /天= 3 / file2.csv
<基本路径> /年= 2022 /月= 2 /天= 4 / file3.csv
指定cloudFiles.partitionColumns作为年、月、日将返回年= 2022为file1.csv,但月和一天列会零。月和一天将解析正确吗file2.csv和file3.csv。
年、月、日
年= 2022
file1.csv
月
一天
零
file2.csv
file3.csv
cloudFiles.schemaEvolutionMode
发展模式的模式中发现新列数据。默认情况下,列是推断作为字符串当推断JSON数据集。看到模式演化为更多的细节。
默认值:“addNewColumns”当一个模式没有提供。“没有”否则。
“addNewColumns”
“没有”
cloudFiles.schemaHints
模式信息期间,您提供自动加载程序模式推理。看到模式提示为更多的细节。
cloudFiles.schemaLocation
存储位置推断模式和后续更改。看到模式推理为更多的细节。
默认值:无(推断模式时需要)
cloudFiles.useStrictGlobber
是否使用默认的globbing行为相匹配的严格的水珠Apache引发的其他文件来源。看到常见的数据加载模式为更多的细节。在砖运行时12.0及以上。
cloudFiles.validateOptions
是否验证自动加载程序选项并返回一个错误对于未知或不一致的选项。
以下选项相关目录清单模式。
cloudFiles.useIncrementalListing
是否使用增量清单而不是目录清单模式下的完整清单。默认情况下,自动加载程序将自动检测最好的努力如果给定目录适用于增量清单。您可以显式地使用清单或使用增量设置它的完整的目录清单真正的或假分别。
使用Azure数据存储Gen2(湖abfss: / /),S3 (s3: / /)和GCS (g: / /)。
abfss: / /
s3: / /
g: / /
可以在砖运行时9.1 LTS及以上。
默认值:汽车
汽车
可用值:汽车,真正的,假
以下选项相关文件通知模式。
cloudFiles.fetchParallelism
数量的线程从队列获取消息时使用服务。
默认值:1
cloudFiles.pathRewrites
类型:一个JSON字符串
如果你指定一个只需要queueUrl接收来自多个S3 bucket的文件通知,你想利用挂载点配置为访问数据在这些容器。使用这个选项改写的前缀桶/关键路径与挂载点。只有前缀可以重写。例如,对于配置{“< databricks-mounted-bucket > /路径”:“dbfs: / mnt /数据仓库工作”},路径s3: / / < databricks-mounted-bucket > / / 2017/08 / fileA.json路径是重写dbfs: / mnt /数据仓库工作/ 2017/08 / fileA.json。
queueUrl
桶/关键
{“< databricks-mounted-bucket > /路径”:“dbfs: / mnt /数据仓库工作”}
s3: / / < databricks-mounted-bucket > / / 2017/08 / fileA.json路径
dbfs: / mnt /数据仓库工作/ 2017/08 / fileA.json
cloudFiles.resourceTag
类型:地图(字符串,字符串)
地图(字符串,字符串)
一系列的键-值对标签帮助联系和确定相关资源,例如:
cloudFiles.option (“cloudFiles.resourceTag.myFirstKey”,“myFirstValue”).option (“cloudFiles.resourceTag.mySecondKey”,“mySecondValue”)
cloudFiles.option (“cloudFiles.resourceTag.myFirstKey”,“myFirstValue”)
.option (“cloudFiles.resourceTag.mySecondKey”,“mySecondValue”)
AWS的更多信息,请参阅Amazon SQS成本分配标签和为亚马逊SNS配置标签的话题。(1)
Azure的更多信息,请参阅命名队列和元数据的报道properties.labels在事件订阅。自动加载程序商店这些键-值对标签在JSON作为标签。(1)
properties.labels
GCP的更多信息,请参阅报告和标签使用。(1)
cloudFiles.useNotifications
是否使用文件通知模式来确定当有新的文件。如果假,使用目录清单模式。看到自动加载器是如何工作的。
(1)自动加载程序添加以下力所能及默认键-值对的标签:
供应商:砖
供应商
砖
路径:加载位置的数据。不可用GCP由于标签的局限性。
路径
checkpointLocation:流的检查点的位置。不可用GCP由于标签的局限性。
checkpointLocation
streamId流:一个全球唯一标识符。
streamId
这些关键的名字是保留和你不能覆盖他们的价值观。
使用自动加载器可以摄取JSON,CSV,拼花,AVRO,文本,BINARYFILE,兽人文件。
以下选项适用于所有文件格式。
ignoreCorruptFiles
是否忽略腐败文件。如果这是真的,火花的工作将继续运行,当遇到损坏文件和已读过的内容仍将返回。可见,numSkippedCorruptFiles在operationMetrics列的三角洲湖历史。在砖运行时11.0及以上。
numSkippedCorruptFiles
operationMetrics
ignoreMissingFiles
是否忽略丢失的文件。如果这是真的,火花的工作将继续运行,当遇到丢失的文件和内容阅读仍将返回。在砖运行时11.0及以上。
默认值:假(真正的为复制成)
复制成
modifiedAfter
类型:时间戳字符串例如,2021-01-0100:00:00.000000UTC + 0
时间戳字符串
2021-01-0100:00:00.000000UTC + 0
一个可选的时间戳来摄取文件修改时间戳后提供时间戳。
modifiedBefore
一个可选的时间戳来摄取文件修改时间戳之前提供的时间戳。
pathGlobFilter或fileNamePattern
一个潜在的水珠模式提供选择文件。相当于模式在复制成。fileNamePattern可以用在read_file。
模式
fileNamePattern
read_file
recursiveFileLookup
是否加载数据基地内递归目录和跳过分区推断。
allowBackslashEscapingAnyCharacter
是否允许反斜杠转义字符的任何成功。如果未启用,只有那些显式列出字符由JSON规范可以逃脱。
allowComments
是否允许使用Java, C和c++风格的评论(' / ',‘*’,' / / '品种)在解析内容。
' / '
‘*’
' / / '
allowNonNumericNumbers
是否允许的集合不是一个数字(南)令牌作为法定数量浮动值。
南
allowNumericLeadingZeros
是否允许积分数字开始额外(循环)0(例如,000001)。
allowSingleQuotes
是否允许使用单引号(撇号,性格“\”)引用字符串(字符串名称和值)。
“\”
allowUnquotedControlChars
是否允许JSON字符串包含保有的控制字符(ASCII字符值小于32,包括选项卡并换行字符)。
allowUnquotedFieldNames
是否允许使用非挂牌字段名称(允许JavaScript,但不是通过JSON规范)。
badRecordsPath
存储文件的路径记录坏JSON的信息记录。
columnNameOfCorruptRecord
列存储记录,是畸形的,不能被解析。如果模式解析设置DROPMALFORMED,本专栏将是空的。
DROPMALFORMED
默认值:_corrupt_record
_corrupt_record
dateFormat
解析日期的格式字符串。
默认值:yyyy-MM-dd
yyyy-MM-dd
dropFieldIfAllNull
是否要忽略所有空值的列或空数组和结构体在模式推理。
编码或字符集
JSON编码的文件的名称。看到charset选项列表。你不能使用utf - 16和utf - 32当多行是真正的。
charset
utf - 16
utf - 32
多行
默认值:utf - 8
utf - 8
inferTimestamp
是否尝试推断作为时间戳字符串TimestampType。当设置为真正的、模式推理明显可能需要更长时间。您必须启用cloudFiles.inferColumnTypes使用自动加载程序。
TimestampType
lineSep
两个连续的JSON记录之间的字符串。
默认值:没有,涵盖r \,\ r \ n,\ n
r \
\ r \ n
\ n
语言环境
一个java.util.Locale标识符。影响默认日期、时间戳和十进制解析JSON。
java.util.Locale
默认值:我们
我们
解析器模式在处理畸形的记录。之一“宽容”,“DROPMALFORMED”,或“FAILFAST”。
“宽容”
“DROPMALFORMED”
“FAILFAST”
默认值:宽容的
宽容的
JSON记录是否跨越多个行。
prefersDecimal
试图推断出字符串DecimalType而不是浮点数和双精度类型。您还必须使用模式推理,通过启用inferSchema或使用cloudFiles.inferColumnTypes自动加载程序。
DecimalType
inferSchema
primitivesAsString
是否要推断数字和布尔值等基本类型StringType。
StringType
rescuedDataColumn
是否收集所有的数据不能被解析由于模式数据类型不匹配或不匹配(包括列套管)到一个单独的列中。这一列包含在默认情况下使用时自动加载程序。有关更多细节,请参考获救的数据列是什么?。
timestampFormat
解析时间戳的格式字符串。
默认值:yyyy-MM-dd 'HH: mm: ss [.SSS] [XXX]
yyyy-MM-dd 'HH: mm: ss [.SSS] [XXX]
时区
的java.time.ZoneId解析时使用时间戳和日期。
java.time.ZoneId
存储文件的路径记录坏CSV信息记录。
charToEscapeQuoteEscaping
类型:字符
字符
使用的用来逃避字符转义引号。例如,对于以下记录:(”\ \ ",b]:
(”\ \ ",b]
如果字符逃离“\”未定义时,记录不会被解析。解析器会读取字符:[一],[\],["],[,],[]、[b]抛出一个错误,因为它找不到关闭报价。
[一],[\],["],[,],[]、[b]
如果字符逃离“\”被定义为“\”记录将被读取2的值:[一个\]和[b]。
[一个\]
[b]
默认值:' \ 0
' \ 0
一列来存储记录畸形,不能被解析。如果模式解析设置DROPMALFORMED,本专栏将是空的。
评论
定义了字符代表一行评论时发现一行文本的开始。使用' \ 0禁用不发表评论。
默认值:“\ u0000”
“\ u0000”
emptyValue
空值的字符串表示。
默认值:”“
CSV文件的编码的名称。看到charset选项列表中。utf - 16和utf - 32时不能使用多行是真正的。
enforceSchema
是否强行指定或推断模式应用到CSV文件。如果启用了选择,CSV文件的标题将被忽略。这个选项默认是忽略了在使用自动加载程序来拯救数据并允许模式演化。
逃避
解析数据时使用的转义字符。
默认值:“\”
头
CSV文件是否包含一个头。自动加载程序假设推断模式时文件头。
ignoreLeadingWhiteSpace
是否忽略主要空白每个解析值。
ignoreTrailingWhiteSpace
是否忽略尾随的空格为每个解析值。
是否来推断的数据类型解析CSV或假设所有列的记录StringType。需要一个额外的如果设置在数据传递给真正的。自动加载程序,使用cloudFiles.inferColumnTypes代替。
两个连续的CSV记录之间的字符串。
一个java.util.Locale标识符。影响默认日期、时间戳和小数解析CSV。
maxCharsPerColumn
类型:Int
Int
最大数量的角色期望从一个值来解析。可以用来避免内存错误。默认为1,这意味着无限的。
1
maxColumns
有多少列的硬限制记录。
默认值:20480年
20480年
mergeSchema
是否来推断模式跨多个文件和每个文件的合并模式。默认启用推断模式时自动加载程序。
解析器模式在处理畸形的记录。之一“宽容”,“DROPMALFORMED”,“FAILFAST”。
CSV档案是否跨越多个行。
nanValue
当解析non-a-number值的字符串表示FloatType和倍增式列。
FloatType
倍增式
默认值:“南”
“南”
negativeInf
当解析的字符串表示负无穷FloatType或倍增式列。
默认值:“负”
“负”
nullValue
parserCaseSensitive(弃用)
在阅读文件,是否对齐列的标题模式中声明的情况下敏感。这是真正的默认为自动加载程序。列情况下将获救的差异rescuedDataColumn如果启用。这个选项已经被弃用的readerCaseSensitive。
readerCaseSensitive
positiveInf
当解析的字符串表示正无穷FloatType或倍增式列。
默认值:“正”
“正”
preferDate
试图推断出字符串作为日期的时间戳。您还必须使用模式推理,通过启用inferSchema或使用cloudFiles.inferColumnTypes自动加载程序。
报价
使用的字符转义值字段分隔符的值。
默认值:”
”
当指定大小写敏感性行为rescuedDataColumn启用。如果这是真的,拯救数据列的名字的情况下不同模式;否则,以不区分大小写的方式读取数据。
是否收集所有数据不能被解析由于:一个数据类型不匹配,不匹配和模式(包括列套管)到一个单独的列中。这一列包含在默认情况下使用时自动加载程序。更多细节请参考获救的数据列是什么?。
9月或分隔符
列之间的分隔符字符串。
默认值:”、“
”、“
skipRows
的行数从一开始就应该被忽略的CSV文件(包括注释和空行)。如果头是真的,标题将第一unskipped和注释行。
默认值:0
0
unescapedQuoteHandling
策略来处理非转义引号。允许选择:
STOP_AT_CLOSING_QUOTE:如果保有的报价在输入,积累援引性格和价值进行解析的引用值,直到找到关闭报价。
STOP_AT_CLOSING_QUOTE
BACK_TO_DELIMITER:如果保有的报价在输入,考虑到价值作为非上市价值。这将使当前的解析值的解析器积累所有字符直到定义的分隔符9月是发现。如果没有找到分隔符的值,解析器将继续积累从输入直到分隔符或行结束字符。
BACK_TO_DELIMITER
9月
STOP_AT_DELIMITER:如果保有的报价在输入,考虑到价值作为非上市价值。这将使解析器积累所有字符直到定义的分隔符9月或发现一行结束输入。
STOP_AT_DELIMITER
SKIP_VALUE:输入,如果找到保有的报价的内容解析给定的值将被忽略(直到找到下一个分隔符)和价值nullValue将会产生。
SKIP_VALUE
RAISE_ERROR:输入,如果找到保有的报价TextParsingException将抛出。
RAISE_ERROR
TextParsingException
默认值:STOP_AT_DELIMITER
datetimeRebaseMode
控制变基之间的日期和时间戳值朱利安和预期的公历日历。允许的值:异常,遗产,纠正。
异常
遗产
纠正
默认值:遗产
int96RebaseMode
控制的变基INT96时间戳值之间朱利安和预期的公历日历。允许的值:异常,遗产,纠正。
是否来推断模式跨多个文件和每个文件的合并模式。
avroSchema
Avro格式的用户提供的可选模式。阅读Avro时,这个选项可以设置为一种进化模式,这是兼容与实际Avro但是不同的模式。反序列化的模式将与进化模式一致。例如,如果您设置一个进化模式包含一个额外的列的默认值,读取结果将包含新列。
是否来推断模式跨多个文件和每个文件的合并模式。mergeSchemaAvro不放松的数据类型。
二进制文件没有任何额外的配置选项。
编码
文本文件的编码的名称。看到charset选项列表。
两个连续的文本记录之间的字符串。
默认值:没有,涵盖r \,\ r \ n和\ n
wholeText
是否要读取一个文件作为一个单独的记录。
自动加载器配置云基础设施的提供了许多选项。
只提供以下选项如果你选择cloudFiles.useNotifications=真正的和你想要自动加载程序设置通知为您服务:
cloudFiles.region
源S3 bucket所在地区和AWS SNS和SQS服务将被创建。
默认值:在砖运行时的9.0及以上的区域EC2实例。下面的砖8.4运行时,您必须指定该地区。
只提供以下选项如果你选择cloudFiles.useNotifications=真正的和你想要的汽车加载器使用一个队列,您已经设置:
cloudFiles.queueUrl
SQS队列的URL。如果提供,自动加载程序直接从这个队列,而不是消耗事件设立自己的AWS SNS和SQS服务。
您可以使用以下选项提供凭据访问AWS SNS和SQS我角色时不可用或当你摄入数据从不同的云。
cloudFiles.awsAccessKey
AWS访问密钥为用户ID。必须提供的cloudFiles.awsSecretKey。
cloudFiles.awsSecretKey
AWS秘密为用户访问密钥。必须提供的cloudFiles.awsAccessKey。
cloudFiles.roleArn
我的攻击角色承担。角色可以从你认为集群的实例配置文件或通过提供凭证cloudFiles.awsAccessKey和cloudFiles.awsSecretKey。
cloudFiles.roleExternalId
使用一个标识符时提供假设的作用cloudFiles.roleArn。
cloudFiles.roleSessionName
假设一个角色时使用一个可选的会话名称使用cloudFiles.roleArn。
cloudFiles.stsEndpoint
一个可选的端点提供用于访问AWS STS当假设一个角色使用cloudFiles.roleArn。
必须提供以下选项如果你指定的值cloudFiles.useNotifications=真正的和你想要自动加载程序设置通知为您服务:
cloudFiles.clientId
客户端服务主体的ID或应用程序ID。
cloudFiles.clientSecret
客户端服务主体的秘密。
cloudFiles.connectionString
连接字符串存储账户,根据帐户访问密钥或共享访问签名(SAS)。
cloudFiles.resourceGroup
的Azure资源组存储创建帐户。
cloudFiles.subscriptionId
的Azure订阅ID创建资源组。
cloudFiles.tenantId
的Azure承租者ID创建服务主体。
重要的
自动化通知设置可以在Azure中国和政府与砖运行9.1和以后的区域。你必须提供一个queueName在这些地区使用自动加载程序文件通知老DBR版本。
queueName
cloudFiles.queueName
Azure队列的名称。如果提供,云文件源直接从这个队列,而不是消耗事件设置自己的Azure事件网格和队列存储服务。在这种情况下,你的cloudFiles.connectionString只需要读取队列上的权限。
自动加载程序可以自动为您设置通知服务利用谷歌服务帐户。您可以配置您的集群承担的服务帐户谷歌服务设置。你的服务帐户需要指定的权限自动加载程序文件通知模式是什么?。否则,您可以提供以下选项进行身份验证如果你想设置自动加载程序通知为您服务。
cloudFiles.client
Google服务的客户机ID账户。
cloudFiles.clientEmail
谷歌的电子邮件服务帐户。
cloudFiles.privateKey
的私钥生成的谷歌服务帐户。
cloudFiles.privateKeyId
id的私钥生成的谷歌服务帐户。
cloudFiles.projectId
项目的id, GCS桶。谷歌云Pub / Sub订阅也将被创建在这个项目。
cloudFiles.subscription
谷歌云的名字发布/订阅订阅。如果提供,云文件从这个队列,而不是源消耗事件设立自己的GCS通知和谷歌云发布/订阅服务。