2021-4-9 10:32:25 星期五
总结一下最近一段时间使用消息队列作为生产者遇到的问题:
架构是这样的:
1. 数据库存储业务产生的基础信息, 状态为初始化 (高并发下顺序可能会不保证, 好在我们不对外, 并发性不高)
2. 定时脚本顺序扫描, 改状态为发送中, 组装完整信息, 写入到kafka
3. 发送成功后, 在kafka回调中更改状态为已完成
4. 因消费者觉得没必要发送ack回调, 所以消息发送生命线到此结束
设计要点:
1. 可以随时终止消息发送,
有一个数据库层面的配置, 每一行记录有topic, 环境, 是否发送等信息, 可以控制某个环境(生产, 测试), 某个topic是否发送
要点: 如果设置为不发送, 系统每隔10分钟发送一次报警
2. 卡住的消息, 可以自动重发
因为系统上线, 环境抖动等原因, 会导致消息卡在"发送中"的状态.
根据状态重发: 每次发消息前会检查20分钟前写入数据库, 但是仍是"发送中"状态的数据, 如果有则报警, 并将消息状态改为初始化, 在下次重新尝试发送
3. 消息体重发
有的消息已经发送, 但需要再发一次, 但是每条消息都有一个唯一的消息ID, 重发时, 注意要更改此唯一的消息ID或类似作用的值
4. 只卡一种类型的消息
生产中会有很多种消息共用一个topic的情况, 考虑到消息的顺序性, 如果一种子类型的消息卡住了, 其后的消息都不能发送; 但是不能影响其他种类的消息发送
5. 报警
最好是选择报警到钉钉群或微信群, 如果邮件的话, 会影响电脑或手机的正常使用
6. 忽略部分错误消息
像kafka, 作为生产者, 如果连接broker失败, 是自己可以自动重试的, 但重试前的那次失败可以不用报警(错误码是-192)
