表情符号毁了 postgresql ts_vector 文档搜索

问题描述

我在 ts_vector() 中使用 postgresql 函数时遇到了一个奇怪的问题。

如果输入文档（文本）包含表情符号，则输出向量不合逻辑：

出现任何表情符号时匹配错误

SELECT to_tsvector('simple','This day is a good day. ? Šodiena ir laba ir diena'); 

-- returns ' ':4 'aba ':9 'ay ':2 'ay.':6 'his ':1 'iena':11 'odiena ':7 'ood ':5 'r ':8,10 's ':3

正常匹配

SELECT to_tsvector('simple','This day is a good day. Šodiena ir laba ir diena') 

-- 'a':4 'day':2,6 'diena':11 'good':5 'ir':8,10 'is':3 'laba':9 'this':1 'šodiena':7

如您所见 - 当表情符号出现时，单词匹配完全关闭。 我正在使用 UTF-8 字符。
CLIENT_ENCODING 和 SERVER_ENCODING 都是 UTF8
default_text_search_config 是 pg_catalog.english

问题：如何使用包含表情符号的文本获得有意义的结果

解决方法

我无法重现差异。

def get_queryset(self):
    return Question.objects.filter(
        pub_date__lte=timezone.now()
    ).order_by('-pub_date')[:5]

我在 Debian 上运行 PG v13.2，使用“english”默认文本搜索目录和使用“en_GB.UTF-8”语言环境的 UTF8 客户端+服务器编码。

我认为文本搜索设置不会有什么不同，因为您已经明确指定了“简单”。

也许有些东西没有以 UTF8 格式到达数据库？