火花流

核心类

StreamingContext(sparkContext […])	主要入口点火花流功能。
DStream(jrdd_deserializer jdstream, ssc)	离散流(DStream)的基本抽象引发流,是一个连续的序列抽样(相同类型的)代表一个连续的数据流(见抽样在火花核心文档有关抽样的更多细节)。

流媒体管理

StreamingContext.addStreamingListener(…)	添加一个[[org.apache.spark.streaming.scheduler。StreamingListener]]对象接收系统事件流有关。
StreamingContext.awaitTermination((超时))	等待执行停止。
StreamingContext.awaitTerminationOrTimeout(超时)	等待执行停止。
StreamingContext.checkpoint(目录)	设置上下文来周期性的检查点DStream操作掌握容错。
StreamingContext.getActive()	返回当前活跃StreamingContext(即。,如果有一个上下文启动但不停止)或没有。
StreamingContext.getActiveOrCreate(…)	要么主动StreamingContext(即返回。
StreamingContext.getOrCreate(checkpointPath…)	从检查点数据重建StreamingContext或创建一个新的StreamingContext。
StreamingContext.remember(持续时间)	设置每个DStreams在这种背景下,记住抽样生成在过去的时间。
StreamingContext.sparkContext	返回SparkContext StreamingContext有关。
StreamingContext.start()	开始的执行流。
StreamingContext.stop([stopSparkContext,…)	停止与选择的执行流,确保所有接收的数据被处理。
StreamingContext.transform(dstreams…)	创建一个新的DStream中每个抽样是通过应用一个函数生成DStreams的抽样。
StreamingContext.union(* dstreams)	创建一个统一的从多个相同类型的DStreams DStream和滑动时间相同。

输入和输出

StreamingContext.binaryRecordsStream(…)	创建一个输入流,监测Hadoop-compatible为新文件和读取文件系统平面固定长度的二进制文件与记录。
StreamingContext.queueStream(抽样[…])	从一个队列创建一个输入流抽样或列表。
StreamingContext.socketTextStream(主机名、端口)	创建一个输入从源主机名:TCP端口。
StreamingContext.textFileStream(目录)	创建一个输入流,监测Hadoop-compatible新文件和文件系统读取文本文件。
DStream.pprint((num))	打印第一DStream num每个抽样生成的元素。
DStream.saveAsTextFiles(前缀,后缀)	保存每个抽样在这个DStream文本文件,使用元素的字符串表示。

转换和行动

DStream.cache()	持续的抽样DStream使用默认存储水平(MEMORY_ONLY)。
DStream.checkpoint(间隔)	使这个DStream周期性的检查点的抽样
DStream.cogroup(其他[numPartitions])	返回一个新的DStream运用抽样之间的cogroup DStream和其他DStream。
DStream.combineByKey(createCombiner…[…])	返回一个新的DStream运用combineByKey抽样。
DStream.context()	返回这个DStream StreamingContext
DStream.count()	返回一个新的DStream每个抽样有单个元素通过计算每个抽样生成DStream。
DStream.countByValue()	返回一个新的DStream每个抽样包含项的每个不同的值在每个抽样DStream。
DStream.countByValueAndWindow(…[…])	返回一个新的DStream每个抽样包含不同元素的计数抽样在这DStream滑动窗口。
DStream.countByWindow(windowDuration…)	返回一个新的DStream每个抽样生成单个元素通过计算元素的数量在一个窗口DStream。
DStream.filter(f)	返回一个新的DStream只包含的元素满足谓词。
DStream.flatMap(f [, preservesPartitioning])	通过应用一个函数返回一个新的DStream DStream的所有元素,然后压扁的结果
DStream.flatMapValues(f)	返回一个新的DStream flatmap函数应用到每个键值对的值在这个DStream不改变的关键。
DStream.foreachRDD(函数)	一个函数应用于每个DStream抽样。
DStream.fullOuterJoin(其他[numPartitions])	返回一个新的DStream运用抽样之间的全外连接DStream和其他DStream。
DStream.glom()	返回一个新的DStream抽样生成通过应用抢DStream()来抽样。
DStream.groupByKey([numPartitions])	返回一个新的DStream运用groupByKey抽样。
DStream.groupByKeyAndWindow(windowDuration…)	返回一个新的DStream通过应用groupByKey滑动窗口。
DStream.join(其他[numPartitions])	返回一个新的DStream通过应用之间的“加入”DStream和抽样其他DStream。
DStream.leftOuterJoin(其他[numPartitions])	返回一个新的DStream运用抽样之间的左外连接DStream和其他DStream。
DStream.map(f [, preservesPartitioning])	通过应用一个函数返回一个新的DStream DStream的每个元素。
DStream.mapPartitions(f [, preservesPartitioning])	返回一个新的DStream每个抽样生成通过应用mapPartitions DStream每个抽样()。
DStream.mapPartitionsWithIndex(f […])	返回一个新的DStream每个抽样生成通过应用mapPartitionsWithIndex DStream每个抽样()。
DStream.mapValues(f)	返回一个新的DStream通过应用一个函数映射到值的每一个键值对DStream不改变的关键。
DStream.partitionBy(numPartitions […])	返回一个副本的DStream每个抽样分区使用指定的分割者。
DStream.persist(storageLevel)	持续的抽样DStream与给定的存储水平
DStream.reduce(函数)	返回一个新的DStream每个抽样有单个元素通过减少每个抽样生成DStream。
DStream.reduceByKey(函数[numPartitions])	返回一个新的DStream运用reduceByKey抽样。
DStream.reduceByKeyAndWindow(invFunc func…)	返回一个新的DStream运用增量reduceByKey滑动窗口。
DStream.reduceByWindow(reduceFunc…)	返回一个新的DStream每个抽样生成单个元素通过减少对这个DStream滑动窗口中的所有元素。
DStream.repartition(numPartitions)	返回一个新的DStream增加或减少程度的并行性。
DStream.rightOuterJoin(其他[numPartitions])	返回一个新的DStream运用抽样之间的右外连接DStream和其他DStream。
DStream.slice(开始、结束)	返回所有的抽样之间的“开始”“结束”(包括两个)
DStream.transform(函数)	返回一个新的DStream每个抽样生成通过应用一个函数在每个抽样DStream。
DStream.transformWith(函数,其他[…])	返回一个新的DStream每个抽样生成通过应用一个函数在每个抽样DStream和DStream“其他”。
DStream.union(其他)	返回一个新的DStream统一数据的另一个DStream DStream。
DStream.updateStateByKey(updateFunc […])	返回一个新的“状态”DStream政府为每个关键更新通过给定的函数前的状态和新价值观的关键的关键。
DStream.window(windowDuration [slideDuration])	返回一个新的DStream每个抽样包含的所有元素在时间滑动窗口中看到这个DStream。

运动

KinesisUtils.createStream(ssc,…[…])	创建一个输入流,从运动将消息流。
InitialPositionInStream.LATEST
InitialPositionInStream.TRIM_HORIZON

以前的

MLWriter

下一个

pyspark.streaming.StreamingContext