通用函数

处理选项

reset_option(关键)	一个选择重置为它们的默认值。
get_option(关键(违约))	检索指定的选项的值。
set_option(关键字,值)	设置指定选项的值。
option_context(* args)	上下文管理器暂时设置选项与声明上下文。

数据操作和SQL

融化(框架、id_vars value_vars var_name,…))	透视的DataFrame宽格式长格式,选择离开标识符变量集。
合并(obj,对[,,left_on,…))	合并DataFrame对象数据库样式加入。
merge_asof(左,右[,,left_on,…)	执行一个asof合并。
get_dummies(数据(前缀、prefix_sep…))	类别变量转换成虚拟/指标变量,也被称为一个炎热的编码。
concat(obj[、轴、连接、ignore_index类))	连接pandas-on-Spark物体沿着一个特定的轴与其他组可选逻辑沿轴。
sql(查询[index_col])	执行一个SQL查询并返回结果作为pandas-on-Spark DataFrame。
广播(obj)	标志着DataFrame作为使用广播加入足够小。

顶级缺失的数据

并网发电(obj)	检测缺失值类似数组的对象。
isnull(obj)	检测缺失值类似数组的对象。
notna(obj)	检测现有(non-missing)值。
notnull(obj)	检测现有(non-missing)值。

顶级处理数字数据

to_numeric(参数、错误)

将参数转换为数字类型。

顶级处理datetimelike数据

to_datetime(参数、错误的格式,单位,…))	将参数转换为日期时间。
date_range([开始、结束时间,频率,tz,…))	返回一个固定频率DatetimeIndex。
to_timedelta(参数、单位、错误)	将参数转换为timedelta。
timedelta_range([开始、结束时间,频率,…)	返回一个固定频率TimedeltaIndex,天作为默认频率。

以前的

pyspark.pandas.read_sql

下一个

pyspark.pandas.reset_option