Bucketizer

类 pyspark.ml.feature。 Bucketizer ( *,分裂:可选(列表(浮动]]=没有一个,inputCol:可选(str]=没有一个,outputCol:可选(str]=没有一个,handleInvalid:str=“错误”,splitsArray:可选(列表(列表(浮动]]]=没有一个,inputCols:可选(列表(str]]=没有一个,outputCols:可选(列表(str]]=没有一个 )

一列连续特性映射到列桶的特性。3.0.0以来,Bucketizer一次可以映射多个列通过设置inputCols参数。注意,当这两个inputCol和inputCols参数设置,就会抛出一个异常。的分裂参数是只用于单一列使用,splitsArray是多个列。

例子

> > >值=((0.1,0.0),(0.4,1.0),(1.2,1.3),(1.5,浮动(“南”)),…(浮动(“南”),1.0),(浮动(“南”),0.0)]> > >df=火花。createDataFrame(值,(“values1”,“values2”])> > >bucketizer=Bucketizer()> > >bucketizer。setSplits([- - - - - -浮动(“正”),0.5,1.4,浮动(“正”)))Bucketizer……> > >bucketizer。setInputCol(“values1”)Bucketizer……> > >bucketizer。setOutputCol(“桶”)Bucketizer……> > >桶=bucketizer。setHandleInvalid(“保持”)。变换(df)。收集()> > >桶=bucketizer。setHandleInvalid(“保持”)。变换(df。选择(“values1”))> > >桶。显示(截断=假)+ - - - - - - - - - - - - - - +| values1 | |+ - - - - - - - - - - - - - - +| 0.1 | 0.0 || 0.4 | 0.0 || 1.2 | 1.0 || 1.5 | 2.0 ||南| 3.0 ||南| 3.0 |+ - - - - - - - - - - - - - - +…> > >bucketizer。setparam(outputCol=“b”)。变换(df)。头()。b0.0> > >bucketizerPath=temp_path+“/ bucketizer”> > >bucketizer。保存(bucketizerPath)> > >loadedBucketizer=Bucketizer。负载(bucketizerPath)> > >loadedBucketizer。getSplits()= =bucketizer。getSplits()真正的> > >loadedBucketizer。变换(df)。取(1)= =bucketizer。变换(df)。取(1)真正的> > >桶=bucketizer。setHandleInvalid(“跳过”)。变换(df)。收集()> > >len(桶)4> > >bucketizer2=Bucketizer(splitsArray=…[[- - - - - -浮动(“正”),0.5,1.4,浮动(“正”)),(- - - - - -浮动(“正”),0.5,浮动(“正”)]],…inputCols=(“values1”,“values2”),outputCols=(“buckets1”,“buckets2”])> > >bucketed2=bucketizer2。setHandleInvalid(“保持”)。变换(df)> > >bucketed2。显示(截断=假)+ - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - +| values1 | values2 | buckets1 | buckets2 |+ - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - +| 0.1 | 0.0 | 0.0 | 0.0 || 0.4 | 1.0 | 0.0 | 1.0 || 1.2 | 1.3 | 1.0 | 1.0 || 1.5 |南| 2.0 | 2.0 ||南| 1.0 | 3.0 | 1.0 ||南| 0.0 | 3.0 | 0.0 |+ - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - +…

方法

清晰的(参数)	清除参数映射的参数是否被显式地设置。
复制((额外的))	创建这个实例的副本具有相同uid和一些额外的参数。
explainParam(参数)	解释一个参数并返回它的名字,医生,和可选的默认值,用户提供的字符串值。
explainParams()	返回文档的所有参数选择默认值和用户提供的值。
extractParamMap((额外的))	提取嵌入默认参数值和用户提供的值,然后合并他们额外的值从输入平面参数映射,后者使用价值如果存在冲突,即。排序:默认参数值< <额外的用户提供的值。
getHandleInvalid()	得到的价值handleInvalid或其默认值。
getInputCol()	得到的价值inputCol或其默认值。
getInputCols()	得到的价值inputCols或其默认值。
getOrDefault(参数)	得到参数的值在用户提供的参数映射或其默认值。
getOutputCol()	得到的价值outputCol或其默认值。
getOutputCols()	得到的价值outputCols或其默认值。
getParam(paramName)	通过它的名称参数。
getSplits()	得到的值阈值或其默认值。
getSplitsArray()	获取数组分割点或其默认值。
hasDefault(参数)	检查是否一个参数有默认值。
hasParam(paramName)	测试这个实例包含一个参数是否与给定名称(字符串)。
isDefined(参数)	检查参数是否由用户或显式地设置一个默认值。
收取(参数)	检查参数是否由用户显式地设置。
负载(路径)	从输入路径,读取一个毫升实例的快捷方式read () .load(路径)。
读()	返回一个MLReader这个类的实例。
保存(路径)	这个毫升实例保存到给定的路径,一个快捷方式的“写().save(路径)。
集(参数值)	设置一个参数嵌入参数映射。
setHandleInvalid(值)	设置的值handleInvalid。
setInputCol(值)	设置的值inputCol。
setInputCols(值)	设置的值inputCols。
setOutputCol(值)	设置的值outputCol。
setOutputCols(值)	设置的值outputCols。
setparam(自我,\[,分裂,inputCol,…))	为这个Bucketizer设置参数。
setSplits(值)	设置的值分裂。
setSplitsArray(值)	设置的值splitsArray。
变换(数据集[params))	与可选参数转换的输入数据集。
写()	返回一个MLWriter实例毫升实例。

属性

handleInvalid
inputCol
inputCols
outputCol
outputCols
参数个数	返回所有参数命令的名字。
分裂
splitsArray

方法的文档

清晰的 ( 参数:pyspark.ml.param.Param )→没有

清除参数映射的参数是否被显式地设置。

复制 ( 额外的:可选(ParamMap]=没有一个 )→摩根大通

创建这个实例的副本具有相同uid和一些额外的参数。这个实现第一次调用参数。复制和then make a copy of the companion Java pipeline component with extra params. So both the Python wrapper and the Java pipeline component get copied.

参数

额外的 东西,可选

额外参数复制到新实例

返回

JavaParams

这个实例的副本

explainParam ( 参数:联盟(str,pyspark.ml.param.Param] )→str

解释一个参数并返回它的名字,医生,和可选的默认值,用户提供的字符串值。

explainParams ( )→str

返回文档的所有参数选择默认值和用户提供的值。

extractParamMap ( 额外的:可选(ParamMap]=没有一个 )→ParamMap

提取嵌入默认参数值和用户提供的值,然后合并他们额外的值从输入平面参数映射,后者使用价值如果存在冲突,即。排序:默认参数值< <额外的用户提供的值。

参数

额外的 东西,可选

额外的参数值

返回

dict

合并后的参数映射

getHandleInvalid ( )→str

得到的价值handleInvalid或其默认值。

getInputCol ( )→str

得到的价值inputCol或其默认值。

getInputCols ( )→列表(str]

得到的价值inputCols或其默认值。

getOrDefault ( 参数:联盟(str,pyspark.ml.param.Param(T]] )→联盟(任何,T]

得到参数的值在用户提供的参数映射或其默认值。如果没有设置提出了一个错误。

getOutputCol ( )→str

得到的价值outputCol或其默认值。

getOutputCols ( )→列表(str]

得到的价值outputCols或其默认值。

getParam ( paramName:str )→pyspark.ml.param.Param

通过它的名称参数。

getSplits ( )→列表(浮动]

得到的值阈值或其默认值。

getSplitsArray ( )→列表(列表(浮动] ]

获取数组分割点或其默认值。

hasDefault ( 参数:联盟(str,pyspark.ml.param.Param(任何]] )→bool

检查是否一个参数有默认值。

hasParam ( paramName:str )→bool

测试这个实例包含一个参数是否与给定名称(字符串)。

isDefined ( 参数:联盟(str,pyspark.ml.param.Param(任何]] )→bool

检查参数是否由用户或显式地设置一个默认值。

收取 ( 参数:联盟(str,pyspark.ml.param.Param(任何]] )→bool

检查参数是否由用户显式地设置。

classmethod 负载 ( 路径:str )→RL

从输入路径,读取一个毫升实例的快捷方式read () .load(路径)。

classmethod 读 ( )→pyspark.ml.util.JavaMLReader(RL]

返回一个MLReader这个类的实例。

保存 ( 路径:str )→没有

这个毫升实例保存到给定的路径,一个快捷方式的“写().save(路径)。

集 ( 参数:pyspark.ml.param.Param,价值:任何 )→没有

设置一个参数嵌入参数映射。

setHandleInvalid ( 价值:str )→pyspark.ml.feature.Bucketizer

设置的值handleInvalid。

setInputCol ( 价值:str )→pyspark.ml.feature.Bucketizer

设置的值inputCol。

setInputCols ( 价值:列表(str] )→pyspark.ml.feature.Bucketizer

设置的值inputCols。

setOutputCol ( 价值:str )→pyspark.ml.feature.Bucketizer

设置的值outputCol。

setOutputCols ( 价值:列表(str] )→pyspark.ml.feature.Bucketizer

设置的值outputCols。

setparam ( 自我,\ *,分裂=没有,inputCol =没有,outputCol =没有,handleInvalid = "错误",splitsArray =没有,inputCols =没有,outputCols =没有 )

为这个Bucketizer设置参数。

setSplits ( 价值:列表(浮动] )→pyspark.ml.feature.Bucketizer

设置的值分裂。

setSplitsArray ( 价值:列表(列表(浮动]] )→pyspark.ml.feature.Bucketizer

设置的值splitsArray。

变换 ( 数据集:pyspark.sql.dataframe.DataFrame,参数个数:可选(ParamMap]=没有一个 )→pyspark.sql.dataframe.DataFrame

与可选参数转换的输入数据集。

参数

数据集 pyspark.sql.DataFrame

输入数据集

参数个数 东西,可选

一个可选的参数覆盖嵌入参数的地图。

返回

pyspark.sql.DataFrame

改变了数据集

写 ( )→pyspark.ml.util.JavaMLWriter

返回一个MLWriter实例毫升实例。

属性的文档

handleInvalid :pyspark.ml.param.Param (str) =参数(父母=‘定义’,name = ' handleInvalid ', doc = "如何处理无效的条目包含NaN值。值之外的分裂将永远被视为错误。选择“跳过”(过滤掉行无效值),“错误”(抛出一个错误),或“保持”(无效值保存在一个特殊的附加桶)。注意,在多个列情况下,无效的处理是适用于所有列。说的“错误”,它将抛出一个错误如果任何列中发现任何问题,对于“跳过”它会跳过行中与任何问题的任何列等)。”

inputCol =参数(父母=‘定义’,name = ' inputCol ', doc =输入列名称。)

inputCols =参数(父母=‘定义’,name = ' inputCols ', doc =输入列名称。)

outputCol =参数(父母=‘定义’,name = ' outputCol ', doc =输出列名称。)

outputCols =参数(父母=‘定义’,name = ' outputCols ', doc =输出列名称。)

参数个数

返回所有参数命令的名字。默认实现使用dir ()所有的属性类型参数。

分裂 :pyspark.ml.param.Param列表(浮动) =参数(父母=‘定义’,name = '分裂',doc = '分割点连续特性映射到桶中。n + 1分裂,有n个桶。一桶由分裂x, y值在范围内(x, y)除了最后一桶,其中还包括y。分裂应该长度> = 3,严格增加。值在无穷,正必须显式地提供涵盖所有双值;否则,将指定以外的值将被视为错误。”)

splitsArray :pyspark.ml.param.Param(列表(列表(浮动))) =参数(父母=‘定义’,name = ' splitsArray ', doc = '数组分割点连续映射特性为多个列桶。对于每个输入列,n + 1分裂,有n个桶。一桶由分裂x, y值在范围内(x, y)除了最后一桶,其中还包括y。分裂应该长度> = 3,严格增加。值在无穷,正必须显式地提供涵盖所有双值;否则,将指定以外的值将被视为错误。”)

以前的

BucketedRandomProjectionLSHModel

下一个

ChiSqSelector