pyspark.streaming.StreamingContext.remember

StreamingContext。 还记得 ( 持续时间:int )→没有

设置每个DStreams在这种背景下,记住抽样生成在过去的时间。DStreams记住抽样只在有限的时间和释放时间的垃圾收集。这种方法允许开发人员指定多长时间记住抽样(如果开发者希望查询DStream之外的旧数据计算)。

参数

持续时间 int

最小时间(以秒为单位),每个DStream应该记住它的抽样

以前的

pyspark.streaming.StreamingContext.getOrCreate

下一个

pyspark.streaming.StreamingContext.sparkContext