将32字节的二进制大端文件LiDAR数据转换为python列表或数组

问题描述

我有一个LiDAR数据集，格式为32字节二进制大尾数格式，我需要将其转换为python列表或数组，然后将其转换为PCD文件。我目前正在使用以下代码，但仅用于16个字节。

我应该进行哪些修改才能使代码适用于32字节大字节序文件？ This是我正在使用的文件的链接。

import open3d as o3d
import numpy as np
import os
import sys
import struct

size_float = 4
list_pcd = []
with open ("C:\\Users\\wilso\\python\\datasets\\DOTX182013031901004142612.log","rb") as f:
    byte = f.read(size_float*4)
    while byte:
        x,y,z,intensity = struct.unpack("ffff",byte)
        list_pcd.append([x,z])
        byte = f.read(size_float*4)
np_pcd = np.asarray(list_pcd)
pcd = o3d.geometry.PointCloud()
v3d = o3d.utility.Vector3dVector
pcd.points = v3d(np_pcd)
o3d.io.write_point_cloud("copy_of_fragment.pcd",pcd)

解决方法

根据链接到的文件的下载副本，似乎您的代码已设置为正确的数据长度。 （有关此内容的更多详细信息，请参见下文。）问题是您没有告诉它使用big-endian。在struct.unpack中，>可以用于此目的-请参见byte order. size and alignment。

如果您在程序中将"ffff"更改为">ffff"，那么它将起作用。

然后，而不是得到像这样的数字：

1.5583606204912748e-38 -112.75440216064453 8.758058715979973e+18
5.859210099898786e-23 7344.03173828125 44007040221184.0
2.734360572280704e+35 2.1044305180549755e+30 6.728572770953178e-05
862.4961547851562 -1167176.125 -9.643602918084717e+20

您将看到类似的数字：

-22.08251953125 16.360233306884766 -2.3429789543151855
-21.318897247314453 16.111948013305664 -2.3769736289978027
-20.665271759033203 15.926865577697754 -2.4304943084716797
-19.91761016845703 15.659859657287598 -2.442497730255127

我认为有些困惑是，您（误会）理解ffff是指16位，好像每个f代表4位十六进制数字一样。这不是这个意思。每个f代表“浮点数”，表示32位浮点数，并且有四个这样的数字（x,y,z,intensity），所以有四个f。例如，如果有三个64位（即双精度）数字，则该数字为ddd。参见：list of format characters