在Apache Nifi中将Avro转换为Parquet

问题描述

我想将json数据转换为镶木地板形式。

我已经使用了GenerateFlowFile并放置了虚拟json值[{“ firstname”:“ prathik”,“ age”:21},{“ firstname”:“ arun”,“ age”:22}]。

我已经使用ConvertRecord处理器将json转换为Avro,然后使用ConvertAvroToParquet处理器。

我得到以下输出(当以原始形式查看时):

PAR1 &&,6(prathikarunprathikarun,(

红点在哪里。

我尝试以“格式化”形式查看输出,但收到以下消息:无法生成数据视图:不是数据文件

预先感谢

解决方法

Parquet是二进制文件格式,不能在NiFi内容查看器中查看。在较新版本的NiFi中,您拥有的ParquetWriter不能与ConvertRecord一起使用来进行转换,并准备好将转换后的Avro数据上传。