熊猫API火花

请注意

这个特性可以在集群运行砖运行时的10.0(不支持)及以上。为集群运行砖运行时9.1 LTS下面,请使用考拉代替。

常用的数据科学家,熊猫是一个Python包,它提供了简单易用的数据结构和数据分析工具的Python编程语言。但是,大熊猫不规模大数据。熊猫熊猫API火花填补了这一空白,提供相同的API, Apache火花。熊猫API火花不仅为熊猫用户有用而且PySpark用户,因为熊猫API支持许多火花与PySpark任务困难,例如绘制数据直接从PySpark DataFrame。

需求

熊猫API在Apache 3.2引发火花可以开始(包括开始砖运行时的10.0(不支持)通过使用以下)进口声明:

进口pyspark.pandas作为ps

笔记本

下面的笔记本显示了如何从熊猫迁移到熊猫API火花。

熊猫熊猫API在火花笔记本

在新标签页打开笔记本

资源