Elasticsearch脚本查询使用densed_vector的余弦相似度给出“ class_cast

问题描述

执行此查询时，我使用的是Elasticsearch 7.9.0版：

d = {
    'date': 'Date_time_stamp','collection':'collected_at'
    # And so on...
}

注意：curl -XGET 'https:somehost:9200/index_name/_search' -H 'Content-Type: application/json' -d '{ "size": 10,"query": { "script_score": { "query": { "match_all": {} },"script": { "source": "cosinesimilarity(params.query_vector,\u0027title_embed\u0027) + 1.0","params": { "query_vector": [-0.19277021288871765,0.10494251549243927,.......]} } } } }'是Bert生成的768维向量。注意：query_vector是单引号的Unicode。

我得到此错误作为响应：

\u0027

尽管索引映射中"cosinesimilarity(params.query_vector,'title_embed') + 1.0"," ^---- HERE"],"script":"cosinesimilarity(params.query_vector,'title_embed') + 1.0","lang":"painless","position":{"offset":38,"start":0,"end":58},"caused_by": {"type":"class_cast_exception","reason":"class org.elasticsearch.index.fielddata.ScriptDocValues$Doubles cannot be cast to class org.elasticsearch.xpack.vectors.query.VectorScriptDocValues$DenseVectorScriptDocValues (org.elasticsearch.index.fielddata.ScriptDocValues$Doubles is in unnamed module of loader 'app'; org.elasticsearch.xpack.vectors.query.VectorScriptDocValues$DenseVectorScriptDocValues is in unnamed module of loader java.net.Factoryurlclassloader @715fb77)"}}}]},"status":400}的数据类型是Elasticsearch的{{1}}类型，但错误表明它是我不知道为什么的两倍？

这里是映射：

title_embed

当我尝试使用python执行此查询时，我收到相同的错误：

dense_vector

解决方法

如果可能，请检查变量数是否等于映射中的维数，即

dims:768

“ query_vector”中的值数等于768吗？

我建议通过运行以下命令再次检查映射，以查看映射是否良好：

GET index_name/_mapping

此外，您在传递“ query_vector”时可能会错过一个值。

我在本地进行了3维矢量测试。

title_embed的映射为3，类型为“ dense_vector”。

我在映射中提取了一些数据，如下所示：

POST /index_name/_doc
{
  "title_embed": [10.01,15,15]
}

如上所述，我尝试使用较小的矢量维复制您的查询：

{
"size": 10,"query": {
        "script_score": {
            "query": {
                "match_all": {}
            },"script": {
                "source": "cosineSimilarity(params.query_vector,'title_embed') + 1.0","params": {
                    "query_vector": [-0.19277021288871765,0.10494251549243927,12.202022]
                
                }
            }
        }
    }
}

注意：如Tom Elias所述，运行doc ['title_embed']可以运行，但在7.9.0版中已弃用。

一个小建议是，如果可以在将索引和映射一起提取到索引中的数据时通过减小向量维数来尝试使用较小的维数。如果维数为5，则在将数据也提取到索引和“ query_vector”中时，检查映射中的“ dim”值是否为5

"query_vector": [12,-1020.02000,10,-5.0000,2]

如果这不起作用，我认为可能对允许的尺寸数量有内部限制。

有用的链接： https://www.elastic.co/guide/en/elasticsearch/reference/7.x/query-dsl-script-score-query.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/dense-vector.html

Elasticsearch脚本查询使用densed_vector的余弦相似度给出“ class_cast_exception”错误

问题描述

解决方法