问题描述
我有一个包含两列的表,即doc-id和doc-txt。 doc-txt中的每个单元格都包含一个文档的全文本(大约1000个单词),并且一个表(10万行)中有10万个文档。 我有一个关键字列表,我想在doc-txt中找到与每个关键字最相似的单词。 Postgresql中有效的方法是什么?
解决方法
您将在该列上创建GiST索引:
CREATE EXTENSION IF NOT EXISTS pg_trgm;
CREATE INDEX ON atable USING gist (doc_txt gist_trgm_ops);
现在您可以执行类似搜索:
SELECT * FROM atable
ORDER BY doc_txt <<<-> 'keyword' DESC
LIMIT 10;
这将找到10个最佳匹配,并且可以得到索引的支持。
<<<->
运算符对应于strict_word_similarity
,并根据the documentation
strict_word_similarity
函数对于查找与整个单词的相似性非常有用,而word_similarity
更适合于查找单词的部分相似性。