DSE Solr - 不同的分区键 将数据复制到单个表中以进行索引使用 Solr 数据导入处理程序

问题描述

很明显,虽然连接表用于 DSE Solr 搜索是可能的,但它们必须共享相同的分区键 (Joining cores | CQL for DSE 6.0)。

我需要加入单个可搜索索引的表具有不同的分区键 - 例如,表 B 的分区键是表 A 的分区键加上它的聚簇列。

我想知道索引这些数据的最佳方法是什么。我能想到两种可能:

将数据复制到单个表中以进行索引

我将有一个工作进程定期连接来自我想要组合的各种表的数据,并将其写入一个纯粹用于 Solr 索引的新表。我可能会在表上使用 TTL 和时间窗口压缩策略,以便旧行自动过期而不会留下墓碑。然后我会用通常的方式让 Solr 索引这个表。

我需要某种方法来确保 Solr 在其索引中仅保留每一行的最新版本。假设可以实现这一点,但创建实际上是数据的中间副本似乎是不合情理的。

使用 Solr 数据导入处理程序

再一次,worker 会定期运行以连接来自各种表的数据,但它会直接将其上传到 Solr,可能使用 Solr Data Import Handler。虽然乍一看这是一个更有效的解决方案,但我在 DataStax 文档中找不到任何关于使用数据导入处理程序的内容,或者实际上如何绕过 DSE Solr 集成。我什至不确定这是可能的。

我很感激在我之前解决过这个问题的人的建议。

(我只想提一下,使用作为 DSE 一部分的 Solr 实例是必需的;设置 Solr 的单独实例不是一种选择。)

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)