问题描述
两者都是语言中立和平台中立的数据交换库。我想知道它们有什么区别,哪个库适合哪种情况。
解决方法
它们用于解决两个不同的问题。 Protobuf 旨在为数据创建通用的“在线”或“磁盘”格式。
Arrow 旨在为数据创建一种常见的“内存中”格式。
当然,下一个问题,这是什么意思?
在 Protobuf 中,如果应用程序想要处理数据,它们首先将数据反序列化为某种“内存中”表示。必须这样做,因为 Protobuf 格式不容易与 CPU 指令兼容。例如,protobuf 将无符号整数打包成 varint。它们具有可变的字节数,并且字段的线类型被塞进了 3 个最低有效位。你不能把两个无符号整数加起来而不先把它们转换成某种“内存中”表示。
现在,User
确实有每种语言的库,可以转换为这些语言的“内存中”表示。但是,这种“内存中”表示并不常见。您无法获取 Protobuf 消息,将其反序列化为 C#(使用 profile
生成的代码),然后在 Java 中处理这些内存中的字节,而无需对数据进行某种 C#->Java 编组。
另一方面,Arrow 解决了这个问题。如果您在 C# 中有一个 Arrow 表,您可以将该内存映射到不同的语言并开始对其进行处理,而无需对数据进行任何类型的“语言到语言”编组。这种零拷贝允许语言之间的高效切换。 Python 使用这样的技巧(例如数组协议)已经有一段时间了,它非常适合数据分析。
然而,Arrow 并不总是在线传输的最佳格式,因为它可能效率低下。我之前提到的那些 varints 帮助 Protobuf 减少了消息大小。此外,Protobuf 标记每个字段,以便在有许多可选字段时可以节省空间。事实上,Arrow 使用 Protobuf 和 gRPC 在 Arrow Flight(一个 RPC 框架)中进行元数据的在线传输。