Spark Streaming实时写入Hive当日分区

背景

由于需要查看原始数据，而原始数据实时产生，数据量较大，大约1万/分钟，写入MDB占用MDB的流量带宽，故考虑将原始数据写入Hive

 

逻辑

Spark Streaming作业中将消费的RDD整体处理为一个临时表，然后insert into到Hive表当日分区，即追加到当日分区

 

现状

写入少部分数据后就没有新数据进入，但是流处理作业并没有报错

 

分析：

1. Hive不支持对同一张表或分区进行并发数据插入，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数据移走，导致任务失败。

实时处理任务中，RDD在不断产生，因此就会产生并发写入hive的现状，从而导致上述数据写入停滞的问题。

 

解决：

应该写入HDFS小文件，然后单独开启任务合并小文件 到大分区