Google云日志API和BigQuery Sink-重复和丢失的日志条目

问题描述

我在Node.js中编写的GCP中具有云功能,该功能在发送发布/订阅消息之前使用Winston将日志条目写入堆栈驱动程序。然后将日志导出到BigQuery(使用标准接收器)。

从DataFlow->发布/订阅主题中触发云功能的速度相当高,即每秒约有500个云功能调用,同时运行着约1000多个实例。

问题是,在查看BigQuery时,我有两个重复的条目(实际上两次记录了相同的日志条目),而且我也知道运行正常时会丢失日志条目。

我知道日志记录阈值/项目为每秒1K个条目,但我没有达到这个阈值,但仍然有问题。我觉得Winston和/或Sink是根本问题。

有人认识到这一点或有解决方案吗?

Thx, CJ

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)