阅读运动增强扇出(EFO)

在砖运行时的11.3及以上,砖运行时动作连接器支持使用亚马逊运动增强扇出(EFO)特性。

运动增强扇出是一个功能,支持增强的扇出流2 mb / s的消费者提供一个专门的吞吐量/碎片,每个消费者(最多20消费者/运动流),并记录交付在推模式,而不是拉模式。

请注意

运动开始的位置配置和行为与增强的扇出轮询方式是一样的配置。指最佳实践:结构化流运动最佳实践。

配置增强扇出流查询选项

以下配置可用的运行时(只有流查询使用运动来源streamName是必需的):

选项	价值	默认的	描述
`streamName`	一个以逗号分隔的名称。	(没有一个所需的参数)	订阅流的名字。
`地区`	指定流区域。	在本地解决地区	流中定义的区域。
`initialPosition`	`最新的`,`trim_horizon`,`最早的`(别名`trim_horizon`),`at_timestamp`	`最新的`	从哪里开始阅读的流。
`consumerMode`	`轮询`或`efo`	`轮询`	消费者类型运行流查询。
`requireConsumerDeregistration`	`真正的`或`假`	`假`	是否取消EFO消费者查询终止。

执行消费者登记运动数据流

如果查询结构化流在EFO模式下运行,那么作为消费者与专用的吞吐量和寄存器本身运动数据流。为了注册运动数据流,查询需要提供一个独特的消费者的名字,这样就可以使用生成的消费者是为未来的业务(亚马逊资源数量)。你可以提供一个明确的使用者名称或重用流查询id作为消费者的名字。所有消费者注册的砖源“databricks_”前缀。结构化流查询参考消费者之前已经注册使用consumerARN返回的describeStreamConsumer。

的consumerName字段允许您为您的流提供一个惟一名称查询。如果你选择不提供一个名称,使用流媒体查询ID。的consumerName必须是一个字符串包含字母、数字和特殊字符,如_(下划线),。(点)和- - - - - -(字符)。

取消注册的消费者运动数据流

您可以选择取消注册查询终端消费者。注册EFO消费增加额外费用在亚马逊上运动。自动取消注册使用者在查询拆卸,设置requireConsumerDeregistration选项真正的。砖不能保证注销登记等事件驱动程序崩溃或节点故障。工作失败,砖建议直接管理注册的消费者,以防止过量运动的指控。

使用砖笔记本脱机消费管理

砖提供消费者管理效用的登记,列表或取消消费者与运动相关的数据流。下面的代码演示了使用该实用程序在一个数据砖笔记本:

在新砖笔记本连接到一个活跃的集群中,创建一个AWSKinesisConsumerManager通过提供必要的身份验证信息。

               进口com。砖。sql。运动。AWSKinesisConsumerManager瓦尔经理=AWSKinesisConsumerManager。新任()。选项(“awsAccessKey”,awsAccessKeyId)。选项(“awsSecretKey”,awsSecretKey)。选项(“地区”,kinesisRegion)。创建()
              

列表,显示消费者。

               瓦尔消费者=经理。listConsumers(“<流名称>”)显示(消费者)
              

注册的消费者对于给定流。

               瓦尔consumerARN=经理。registerConsumer(“<流名称>”,“<消费者名称>”)
              

取消消费者对于给定流。

               经理。deregisterConsumer(“<流名称>”,“<消费者名称>”)
              