为机器学习和深度学习加载数据

存储用于数据加载和模型检查点的文件

机器学习应用程序可能需要使用共享存储来进行数据加载和模型检查点。这对于分布式深度学习尤为重要。

加载表格数据

您可以加载表格机器学习数据表或文件(例如，请参见CSV文件)．可以将Apache Spark dataframe转换为pandas dataframePySpark方法toPandas ()，然后可选地转换为NumPy格式熊猫的方法to_numpy ()．

为分布式培训准备数据

本节将介绍为分布式训练准备数据的两种方法:Petastorm和TFRecords。