PrefixSpan¶
-
类
pyspark.ml.fpm。
PrefixSpan
( *,minSupport:浮动=0.1,maxPatternLength:int=10,maxLocalProjDBSize:int=32000000,sequenceCol:str=“序列” ) ¶ -
一个平行PrefixSpan算法挖掘频繁序列模式。PrefixSpan算法描述的j .贝聿铭et al ., PrefixSpan:挖掘序列模式有效地通过前缀映射模式增长(见在这里)。这个类还没有一个估计量/变压器,使用
findFrequentSequentialPatterns ()
方法运行PrefixSpan算法。笔记
例子
> > >从pyspark.ml.fpm进口PrefixSpan> > >从pyspark.sql进口行> > >df=sc。并行化([行(序列=[[1,2),(3]]),…行(序列=[[1),(3,2),(1,2]]),…行(序列=[[1,2),(5]]),…行(序列=[[6]])))。toDF()> > >prefixSpan=PrefixSpan()> > >prefixSpan。getMaxLocalProjDBSize()32000000> > >prefixSpan。getSequenceCol()“序列”> > >prefixSpan。setMinSupport(0.5)PrefixSpan……> > >prefixSpan。setMaxPatternLength(5)PrefixSpan……> > >prefixSpan。findFrequentSequentialPatterns(df)。排序(“序列”)。显示(截断=假)+ - - - - - - - - - - - + - - - +| |序列频率|+ - - - - - - - - - - - + - - - +[[1]]| | 3 || [[1],[3]]| 2 |[[2]]| | 3 || [[2,1]]| 3 |[[3]]| | 2 |+ - - - - - - - - - - - + - - - +…
方法
清晰的
(参数)清除参数映射的参数是否被显式地设置。
复制
((额外的))创建这个实例的副本具有相同uid和一些额外的参数。
explainParam
(参数)解释一个参数并返回它的名字,医生,和可选的默认值,用户提供的字符串值。
返回文档的所有参数选择默认值和用户提供的值。
extractParamMap
((额外的))提取嵌入默认参数值和用户提供的值,然后合并他们额外的值从输入平面参数映射,后者使用价值如果存在冲突,即。排序:默认参数值< <额外的用户提供的值。
发现频繁序列模式的完整的输入序列项集。
得到的价值maxLocalProjDBSize或其默认值。
得到的价值maxPatternLength或其默认值。
得到的价值minSupport或其默认值。
getOrDefault
(参数)得到参数的值在用户提供的参数映射或其默认值。
getParam
(paramName)通过它的名称参数。
得到的价值sequenceCol或其默认值。
hasDefault
(参数)检查是否一个参数有默认值。
hasParam
(paramName)测试这个实例包含一个参数是否与给定名称(字符串)。
isDefined
(参数)检查参数是否由用户或显式地设置一个默认值。
收取
(参数)检查参数是否由用户显式地设置。
集
(参数值)设置一个参数嵌入参数映射。
设置的值
maxLocalProjDBSize
。设置的值
maxPatternLength
。设置的值
minSupport
。setparam
(自我\ * (minSupport,…))设置的值
sequenceCol
。属性
返回所有参数命令的名字。
方法的文档
-
清晰的
( 参数:pyspark.ml.param.Param )→没有¶ -
清除参数映射的参数是否被显式地设置。
-
复制
( 额外的:可选(ParamMap]=没有一个 )→摩根大通¶ -
创建这个实例的副本具有相同uid和一些额外的参数。这个实现第一次调用参数。复制and then make a copy of the companion Java pipeline component with extra params. So both the Python wrapper and the Java pipeline component get copied.
- 参数
-
- 额外的 东西,可选
-
额外参数复制到新实例
- 返回
-
-
JavaParams
-
这个实例的副本
-
-
explainParam
( 参数:联盟(str,pyspark.ml.param.Param] )→str¶ -
解释一个参数并返回它的名字,医生,和可选的默认值,用户提供的字符串值。
-
explainParams
( )→str¶ -
返回文档的所有参数选择默认值和用户提供的值。
-
extractParamMap
( 额外的:可选(ParamMap]=没有一个 )→ParamMap¶ -
提取嵌入默认参数值和用户提供的值,然后合并他们额外的值从输入平面参数映射,后者使用价值如果存在冲突,即。排序:默认参数值< <额外的用户提供的值。
- 参数
-
- 额外的 东西,可选
-
额外的参数值
- 返回
-
- dict
-
合并后的参数映射
-
findFrequentSequentialPatterns
( 数据集:pyspark.sql.dataframe.DataFrame )→pyspark.sql.dataframe.DataFrame¶ -
发现频繁序列模式的完整的输入序列项集。
- 参数
-
-
数据集
pyspark.sql.DataFrame
-
一个是包含一个序列dataframe列ArrayType (ArrayType (T))类型T的项目类型的输入数据集。
-
数据集
- 返回
-
-
pyspark.sql.DataFrame
-
一个DataFrame包含的列顺序和相应的频率。它的模式将会是:
序列:ArrayType (ArrayType (T))项目类型(T)
频率:长
-
-
getMaxLocalProjDBSize
( )→int¶ -
得到的价值maxLocalProjDBSize或其默认值。
-
getMaxPatternLength
( )→int¶ -
得到的价值maxPatternLength或其默认值。
-
getMinSupport
( )→浮动¶ -
得到的价值minSupport或其默认值。
-
getOrDefault
( 参数:联盟(str,pyspark.ml.param.Param(T]] )→联盟(任何,T] ¶ -
得到参数的值在用户提供的参数映射或其默认值。如果没有设置提出了一个错误。
-
getParam
( paramName:str )→pyspark.ml.param.Param ¶ -
通过它的名称参数。
-
getSequenceCol
( )→str¶ -
得到的价值sequenceCol或其默认值。
-
hasDefault
( 参数:联盟(str,pyspark.ml.param.Param(任何]] )→bool¶ -
检查是否一个参数有默认值。
-
hasParam
( paramName:str )→bool¶ -
测试这个实例包含一个参数是否与给定名称(字符串)。
-
isDefined
( 参数:联盟(str,pyspark.ml.param.Param(任何]] )→bool¶ -
检查参数是否由用户或显式地设置一个默认值。
-
收取
( 参数:联盟(str,pyspark.ml.param.Param(任何]] )→bool¶ -
检查参数是否由用户显式地设置。
-
集
( 参数:pyspark.ml.param.Param,价值:任何 )→没有¶ -
设置一个参数嵌入参数映射。
-
setMaxLocalProjDBSize
( 价值:int )→pyspark.ml.fpm.PrefixSpan ¶ -
设置的值
maxLocalProjDBSize
。
-
setMaxPatternLength
( 价值:int )→pyspark.ml.fpm.PrefixSpan ¶ -
设置的值
maxPatternLength
。
-
setMinSupport
( 价值:浮动 )→pyspark.ml.fpm.PrefixSpan ¶ -
设置的值
minSupport
。
-
setparam
( 自我,\ *,minSupport = 0.1,maxPatternLength = 10,maxLocalProjDBSize = 32000000,sequenceCol = "序列" ) ¶
-
setSequenceCol
( 价值:str )→pyspark.ml.fpm.PrefixSpan ¶ -
设置的值
sequenceCol
。
属性的文档
-
maxLocalProjDBSize
:pyspark.ml.param.Param (int) =参数(父母=‘定义’,name = ' maxLocalProjDBSize ', doc = '的最大条目数(包括分隔符用于内部存储格式)允许在投影数据库在本地处理。如果一个投影数据库超过这个尺寸,另一个迭代运行分布式前缀的增长。必须> 0。”) ¶
-
maxPatternLength
:pyspark.ml.param.Param (int) =参数(父母=‘定义’,name = ' maxPatternLength ', doc = '的最大长度序列模式。必须> 0。”) ¶
-
minSupport
:pyspark.ml.param.Param(浮动) =参数(父母=‘定义’,name = ' minSupport ', doc = '最小支撑位的顺序模式。出现的顺序模式(minSupport * size-of-the-dataset)多次将输出。必须> = 0”。) ¶
-
参数个数
¶ -
返回所有参数命令的名字。默认实现使用
dir ()
所有的属性类型参数
。
-
sequenceCol
:pyspark.ml.param.Param (str) =参数(父母=‘定义’,name = ' sequenceCol ', doc =“序列列数据集的名称,行与null列被忽略。”) ¶
-