问题描述
我的主要数据源每天获得5000万条记录。我需要查看记录的最大延迟时间约为5分钟。
如何最好地从主sql Server数据源传输数据以报告sql Server数据源。
这时，我每30秒合并一次用户。但这似乎对主要数据源性能有影响。
解决方法
最小化源服务器负载的最常见方法是使用时间戳（即简单的SELECT ... content-type: application/*+avro）进行定期提取。
源表需要提供一列，使您可以对未提取的记录进行过滤。如果这完全不可能，您可以提取例如将最后一个小时的数据放入登台表，并与先前提取的记录进行重复数据删除。
是的，您可以使用CDC，但这通常涉及更多，并且通常会增加一些限制。
干杯，克里斯蒂安