如何在 TypeScript 中创建用于写入表的 Apache Arrow 向量

问题描述

我正在尝试编写一个方法，该方法接受一列数据 data: any[] 并将其打包到一个箭头类型的数组缓冲区中以放入一个箭头表中。

例如，如果我有 Type.Float64，我可以这样做：

Float64Vector.from(toFloat64Array(data));

但是对于 Int64Vector、TimeSecondVector 或 TimestampVector，我收到错误：

TimestampVector.from(data)
error: Type 'AbstractVector<any>' is missing the following properties from type 'BaseVector<any>': offset,VectorName,values,typeIds,and 7 more.ts(2740)

DecimalVector.from(data),TimeSecondVector.from(data),and BinaryVector.from(data)
Type 'AbstractVector<any>' is not assignable to type 'BaseVector<any>'.ts(2322)

我一直在梳理文档，但找不到任何解释如何使用它的内容。我只想知道如何构建这些类型的向量：

TimeSecondVector
TimestampVector

解决方法

事实证明 Apache Arrow 提供了 Builders！ Great doc about builders

另外，不要相信这个：

Float64Vector.from(toFloat64Array(data));

适用于任何数据类型。构建器似乎是要走的路，直到必须开始处理 Uint32Arrays（十进制和二进制？那是另一个问题）。

export const createTimeSecondVector = (data: number[]): TimeSecondVector => {
  const builder = TimeSecondBuilder.new({
    type: new TimeSecond(),nullValues: [null,undefined]
  });
  data.forEach(d => {
    builder.append(d);
  });
  return builder.finish().toVector();
};

export const createTimestampVector = (data: number[]): TimestampVector => {
  const builder = TimestampBuilder.new({
    type: new Timestamp(TimeUnit.SECOND,'America/Denver'),undefined]
  });
  data.forEach(d => {
    builder.append(d);
  });
  return builder.finish().toVector();
};