Azure Sentinel ThreatIntelligence 重复数据

问题描述

问题

我正在使用 ThreatConnect 将 TI 摄取到 Azure Sentinel，每次更新现有 IOC 时，它都会生成带有修改字段的附加记录，并在查询时显示旧记录。例如，我创建了一个置信度分数为 90 的 IOC 并摄取它，后来我将置信度分数更新为 80 并重新摄取它。现在，如果我在日志分析中查询它，它会以 90 和 80 的置信度显示两个 IOC，而不是更新旧值。旧记录会一直显示到保留期。

我尝试了 ThreatIntellegence 摄取的所有方法 - “TI 数据连接器”、“图形 API”和“TI 预览”选项卡，无论来源/方法如何，都得到了重复项。

重现行为的步骤

• 通过数据连接器、图形 API 或 TI 预览选项卡在 Azure Sentinel 中添加 IOC。
• 更新 IOC 并重新摄取。
• 查询 IOC，它将显示旧的和更新的 IOC。

预期行为 更新旧的 IOC 后，应该只有更新的 IOC 和单个条目。

有没有人遇到过同样的问题或知道如何解决这个问题？

预先感谢您的帮助！

解决方法

这是设计使然。 Log Analytics 表是不可变的，只能添加数据。这里使用的模式，在类似的情况下使用 arg_max：

威胁情报指示器 |其中 ExpirationDateTime >= now() |按 IndicatorId 总结 arg_max(TimeGenerated,*)