Azure流分析如何创建单个Parquet文件

问题描述

我几乎没有将遥测数据发送到Azure Event Hub的IoT设备。我想将数据写入Azure Data Lake中的Parquet文件,以便可以使用Azure Synapse查询该数据。

我已将Azure功能触发到Azure事件中心,但是我没有找到直接将从设备接收的数据以Parquet格式写入Azure数据湖的方法

所以我在做什么,我有Stream Analytics作业-它具有来自事件中心的输入和Parquet格式的输出到Azure Data Lake。

我已将Stream Analytics输出路径格式配置为其他格式-但这会在以下文件夹中创建多个小文件

* device-data / {unitNumber} /

device-data / {unitNumber} / {datetime:MM} / {datetime:dd} *

我想为单个设备使用单个镶木地板文件。有人可以帮忙吗?

我已尝试配置最大时间->但是,直到这段时间过后,数据才被写入镶木地板文件中。我也不想这样。

我想要简单的功能-从设备到事件中心的数据接收后,应立即将其附加到Azure Data Lake中的镶木地板文件中。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)