pyspark.StorageLevel

pyspark。 StorageLevel ( useDisk:bool,useMemory:bool,useOffHeap:bool,反序列化:bool,复制:int=1 )

旗帜的存储控制抽样。每个StorageLevel记录是否使用内存,是否把抽样到磁盘如果它掉出来的内存,是否保持在内存中数据的java特定序列化格式,以及是否在多个节点上复制抽样分区。也包含一些常用的静态常量存储水平,MEMORY_ONLY。由于数据总是序列化在Python方面,所有的常量使用序列化格式。

属性

DISK_ONLY

DISK_ONLY_2

DISK_ONLY_3

MEMORY_AND_DISK

MEMORY_AND_DISK_2

MEMORY_AND_DISK_DESER

MEMORY_ONLY

MEMORY_ONLY_2

OFF_HEAP