UpdateTaskList 操作因 Cadence 匹配服务失败

编程问答 2022-05-17

问题描述

前几天，我们的节奏设置遇到了一些问题。我们的一台机器实例开始将 CPU 使用率提高到 90%，并且所有入站工作流执行都停留在“计划”状态。检查日志后，我们注意到匹配服务抛出以下错误：

{
  "level": "error","ts": "2021-03-20T14:41:55.130Z","msg": "Operation failed with internal error.","service": "cadence-matching","error": "InternalServiceError{Message: UpdateTaskList operation failed. Error: gocql: no hosts available in the pool}","metric-scope": 34,"logging-call-at": "persistenceMetricClients.go:872","stacktrace": "github.com/uber/cadence/common/log/loggerimpl.(*loggerImpl).Error\n\t/cadence/common/log/loggerimpl/logger.go:134\ngithub.com/uber/cadence/common/persistence.(*taskPersistenceClient).updateErrorMetric\n\t/cadence/common/persistence/persistenceMetricClients.go:872\ngithub.com/uber/cadence/common/persistence.(*taskPersistenceClient).UpdateTaskList\n\t/cadence/common/persistence/persistenceMetricClients.go:855\ngithub.com/uber/cadence/service/matching.(*taskListDB).UpdateState\n\t/cadence/service/matching/db.go:103\ngithub.com/uber/cadence/service/matching.(*taskReader).persistAckLevel\n\t/cadence/service/matching/taskReader.go:277\ngithub.com/uber/cadence/service/matching.(*taskReader).getTasksPump\n\t/cadence/service/matching/taskReader.go:156"
}

重新启动工作流程后，一切都恢复正常，但我们仍在努力弄清楚发生了什么。在这个事件发生的那一刻，我们并没有表现出任何繁重的工作量，它只是突然发生。我们的主要怀疑是匹配服务可能在此事件期间失去了与 cassandra 数据库的连接，而在我们重新启动它之后，它能够恢复它。但这只是目前的假设。

这个问题的原因可能是什么？有没有办法防止将来发生这种情况？也许我们错过了一些动态配置？

PS：Cadence 版本为 0.18.3

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

cadence-workflowuber-cadence