问题描述
我打算：
- 加入
- 分组依据
- 过滤器
使用 pyarrow 的数据（新的）。与 Pandas 相比，我们的想法是获得更好的性能和内存利用率（apache 箭头压缩）。
似乎 pyarrow 不支持通过键连接两个表/数据集，所以我不得不回退到熊猫。
我并不真正了解 pyarrow pandas 集成的工作原理。大熊猫真的会使用 apache 箭头数据结构吗？我可以只使用这些类型。
- 字符串
- 长
- 十进制
我有一种感觉，pandas 会从 apache 箭头和双倍大小（根据文档）复制所有数据
解决方法
pyarrow 本身并不向最终用户提供这些功能，而是作为一个可供 DataFrame 库开发人员使用的库作为基础。因此，我们的目的并不是让您作为 DataFrame 用户有一天转而直接使用 pyarrow，而是像 pandas 这样的库使用 Arrow 作为后端。
pandas 1.2 中引入的新 ArrowStringType（尚未真正起作用）或 fletcher 库提供了使用 pyarrow 作为选择的后端的可能性，这已经发生了您的 pandas.DataFrame 列到 pandas 的 ExtensionArray 界面。
免责声明：我是 fletcher 的主要作者。