如何将Kinesis数据流合并为一个以进行Kinesis数据分析?

问题描述

我有多个AWS kinesis数据流/ firehose,其中包含CSV格式的结构化数据。我需要使用运动学数据分析对该数据进行分析。但是如何将多个流合并为一个?因为Kinesis数据分析只能从一个流中获取数据。数据流可以存在于不同的区域。

问题: 如何将Kinesis数据流合并为一个以进行Kinesis数据分析?

解决方法

我不知道您是否可以使用AWS提供的任何“现成”产品,但是如果您不介意编写一些代码,这很简单。

  1. 创建将成为“合并流”的运动学流(两个源流的事件都将移至此处)。
  2. 使用所选的编程语言创建lambda,并将触发器设置为要合并的运动流。
  3. 对lambda进行编码,以将其接收的所有事件写到步骤1中创建的流中。

生成的运动学流应具有您要查找的合并数据,并可以将其用于分析。