如何解压/解压原始grpc数据？

问题描述

我拦截了 grpc http2 请求，但我无法理解 mitmproxy 将其打印为十六进制的数据，这是一些标头

te: trailers
content-type: application/grpc
grpc-accept-encoding: identity,deflate,gzip
accept-encoding: identity,gzip

然而，数据没有任何意义，我在网络厨师上尝试了 gunzip，它一直说“Gunzip - 无效的文件签名：”我尝试了 protobuf 解码器，它说“错误：缓冲区耗尽” 我应该如何解决这个问题？

编辑： 这是我试图解压的数据

\x12
\x10\xb8z =P\xdeCw\x89\x1e}\xbb\x8c*\x1f\x11\x10\xff\xc7\xa0\xad\xaa\xd9\xbe\xcf\xb6\x01\x1a\x16
\x14
\x12
\x10>D_.\x9bd\\\x7f\x88\xbc\xd0\x00}\xab')"\x0b\x10\x01"\x05\x12\x03
\x01E8\x02"

这是 mitmproxy 设法解压的另一个 protobuf 消息

(
&\x12$3e445f2e-9b64-5c7f-88bc-**

这是2个解压数据

1 {
  1 {
    2: 3e445f2e-9b64-5c7f-88bc-**
  }
}

解决方法

gRPC 协议在 this document 中定义。特别是，关于“Length-Prefixed-Message”的部分描述了数据是如何编码的：

Length-Prefixed-Message 项的重复序列在 DATA 帧中传递

• Length-Prefixed-Message → Compressed-Flag Message-Length Message
• Compressed-Flag → 0 / 1 # 编码为 1 字节无符号整数
• Message-Length → {length of Message} # 编码为 4 字节无符号整数（大端）
• 消息 → *{binary octet}

换句话说，要读取消息，先读取 1 个字节的压缩位，然后读取 4 个字节的长度，然后读取消息的那么多字节。如果设置了压缩位，则需要使用“grpc-encoding”标头中描述的格式解压缩消息。然后消息的格式是特定于应用程序的。 Protobuf 很常见。