如何精确控制RecordBatch的大小？

问题描述

虽然我使用pyarrow生成RecordBatch（或Table），但我需要首先构造数据（由数组组成）。例如：

data = [
   ....:     pa.array([1,2,3,4]),....:     pa.array(['foo','bar','baz','big string xxxxxxxxx']),....:     pa.array([True,None,False,True])
   ....: ]
   batch = pa.RecordBatch.from_arrays(data,['f0','f1','f2'])
   batch.nbytes

结果是：

“批处理”的大小为 83 个字节；
“批处理”中的行数为3；
“批次”中的列数为4；

问题是：我可以控制RecordBatch的大小不超过 64 个字节吗？如何？ pyarrow是否有一些用户API可以做到这一点？

谢谢！

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-arrow pyarrow