修饰符

databricks.feature_store.decorators。 feature_table ( 函数 )

请注意

实验:这个修饰符在将来发布的版本中可能会改变或删除没有警告。

的@feature_table修饰符指定一个函数用于生成特性数据。功能装饰着@feature_table必须返回一个DataFrame商店,这将被写入功能。例如:

从databricks.feature_store进口feature_table@feature_tabledefcompute_customer_features(数据):“特性计算函数,会生的的数据,并返回一个DataFrame特性。”返回(数据。groupBy(cid的)。gg(数(‘*’)。别名(“num_purchases”)))

一个函数,装饰着@feature_table装饰者将获得这些功能属性:

databricks.feature_store.decorators。 compute_and_write ( 输入:Dict str,任何,feature_table_name: str,模式:str =“合并” )→pyspark.sql.dataframe.DataFrame

请注意

实验:这个函数在将来发布的版本中可能会改变或删除没有警告。

调用函数使用提供的装饰输入,然后写输出DataFrame指定的功能表feature_table_name。

例子:

compute_customer_features。compute_and_write(输入={“数据”:数据,},feature_table_name=“recommender_system.customer_features”,模式=“合并”)

参数

• 输入——如果输入不是一个词典,它传递给装饰函数作为第一个位置参数。如果输入打开字典,内容和关键字参数传递给函数作为装饰。

• feature_table_name——一个表单的功能表名< database_name >。< table_name >例如,dev.user_features。如果不存在此功能表,提出了异常。

• 模式——两个支持编写模式:“覆盖”更新整个表,“合并”插入的行吗df进入功能表。

返回

DataFrame(df)包含特征值。

databricks.feature_store.decorators。 compute_and_write_streaming ( 输入:Dict str,任何,feature_table_name: str, checkpoint_location:可选(str) = None,触发:Dict (str,任何)= {“processingTime”:“5分钟”} )→pyspark.sql.streaming.StreamingQuery

请注意

实验:这个函数在将来发布的版本中可能会改变或删除没有警告。

调用函数使用提供的输入,然后流输出DataFrame指定的功能表feature_table_name。

例子:

compute_customer_features。compute_and_write_streaming(输入={“数据”:数据,},feature_table_name=“recommender_system.customer_features”,)

参数

• 输入——如果输入不是一个词典,它传递给装饰函数作为第一个位置参数。如果输入打开字典,内容和关键字参数传递给函数作为装饰。

• feature_table_name——一个表单的功能表名< database_name >。< table_name >例如,dev.user_features。

• checkpoint_location——设置结构化流checkpointLocation选择。通过设置一个checkpoint_location,火花结构化流将存储的进展信息和中间状态,使故障后恢复。这个参数时仅支持论点df是一个流DataFrame。

• 触发- - - - - -触发字典定义了流数据处理的时机,将打开并通过DataStreamWriter.trigger作为参数。例如,触发={“一旦”:真正的}将导致调用吗DataStreamWriter.trigger(一旦= True)。

返回

一个PySparkStreamingQuery。