PyArrow：递增地使用ParquetWriter，而无需将整个数据集保存在内存中(大于内存拼接文件)

素材狗 2022-01-01 21:14:05 文章分类：Python问题点击数：1次

文章标签

PyArrow: Incrementally using ParquetWriter without keeping entire dataset in memory (large than memory parquet files)(PyArrow：递增地使用ParquetWriter，而无需将整个数据集保存在内存中(大于内存拼接文件))

本文介绍了PyArrow：递增地使用ParquetWriter，而无需将整个数据集保存在内存中(大于内存拼接文件)的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！

问题描述

我正在尝试将一个较大的拼图文件写入磁盘(大于内存)。我天真地认为我可以聪明地使用ParquetWriter和WRITE_TABLE递增地写入文件，比如(POC)：

import pyarrow as pa
import pyarrow.parquet as pq
import pickle
import time

arrow_schema = pickle.load(open('schema.pickle', 'rb'))
rows_dataframe = pickle.load(open('rows.pickle', 'rb'))

output_file = 'test.parq'

with pq.ParquetWriter(
                output_file,
                arrow_schema,
                compression='snappy',
                allow_truncated_timestamps=True,
                version='2.0',  # Highest available schema
                data_page_version='2.0',  # Highest available schema
        ) as writer:
            for rows_dataframe in function_that_yields_data()
                writer.write_table(
                    pa.Table.from_pydict(
                            rows_dataframe,
                            arrow_schema
                    )
                )