改善模糊搜索结果相似性的最佳方法？

问题描述

这个问题可能是重复的问题，但由于我无法完善解决方案，因此我将其退回。

对不起。现在，我正在研究毒品搜索引擎。用户不能总是输入确切的药物名称。根据用户输入的字符，我需要为他们获得更好的结果。但是现在不是。我应该如何做才能更准确地得出结果？例如，在数据库中有信息：Анальгин,Цитрамон-П,Лирика-75мг等...（在 Crylic 中）。如果用户输入拉丁字母，则系统会将其转换为西里尔字母并进行搜索。因此，我需要：即使用户在Цитрамон,cитрамон,ииттрамон or cтрамон中输入单词，结果也应返回Цитрамон。或者，如果用户输入：Лирика,ЛЛЛирика,иииррика,Лика or Лирик，则结果应返回Лирика。或Аналгин,Анагин ...应该返回Анальгин。我应该得到类似的结果。我尝试了几种搜索算法和程序包（Laravel-Searchy，Laravel Scout，TNTSearch等），但无济于事。现在可以进行搜索，但是返回的结果与sql LIKE运算符中的返回结果相同。另外，我尝试使用Levenstein距离，如下所示：我的搜索变量：

 $data = [];
 //dd($request->all());
 $search = _ltc($request->qry); // convert input text between latin and crylic 
  $data = Drug::selectRaw('*,levenshtein(?,`name`) as `diff`',[$search])
                ->havingBetween('diff',[0,4])
                ->limit(10)
                ->get();

还有我的sql levenshtein函数：

CREATE DEFINER = 'root'@'localhost'
  FUNCTION arzondori.levenshtein(s1 VARCHAR(255),s2 VARCHAR(255) )
  RETURNS INT(11)
 DETERMINISTIC
BEGIN 
DECLARE s1_len,s2_len,i,j,c,c_temp,cost INT; 
DECLARE s1_char CHAR; 
-- max strlen=255 
DECLARE cv0,cv1 VARBINARY(256); 
SET s1_len = CHAR_LENGTH(s1),s2_len = CHAR_LENGTH(s2),cv1 = 0x00,j = 1,i = 1,c = 0; 
IF s1 = s2 THEN 
 RETURN 0; 
 ELSEIF s1_len = 0 THEN 
 RETURN s2_len; 
 ELSEIF s2_len = 0 THEN 
 RETURN s1_len; 
ELSE 
WHILE j <= s2_len DO 
 SET cv1 = CONCAT(cv1,UNHEX(HEX(j))),j = j + 1; 
END WHILE; 
WHILE i <= s1_len DO 
 SET s1_char = SUBSTRING(s1,1),c = i,cv0 = UNHEX(HEX(i)),j = 1; 
WHILE j <= s2_len DO 
  SET c = c + 1; 
  IF s1_char = SUBSTRING(s2,1) THEN  
    SET cost = 0; ELSE SET cost = 1; 
  END IF; 
  SET c_temp = CONV(HEX(SUBSTRING(cv1,1)),16,10) + cost; 
  IF c > c_temp THEN SET c = c_temp; END IF; 
    SET c_temp = CONV(HEX(SUBSTRING(cv1,j+1,10) + 1; 
    IF c > c_temp THEN  
      SET c = c_temp;  
    END IF; 
   SET cv0 = CONCAT(cv0,UNHEX(HEX(c))),j = j + 1; 
  END WHILE; 
      SET cv1 = cv0,i = i + 1; 
     END WHILE; 
    END IF; 
   RETURN c; 
  END

我还考虑了以下选项：

$data = Drug::select("id","name")
                ->where('name','LIKE',"%$search%")
                ->get();
 $data5 = Searchy::search('drugs')
                   ->fields('name')
                   ->query($search)
                   ->select('id','name')
                   ->get();

任何人都可以帮助找到解决该问题的方法吗？如果问题有点令人困惑，请提前抱歉！谢谢！

解决方法

这将很难以您尝试的方式解决。您需要像Sphinx或弹性搜索这样的全文搜索引擎。这支持语言和模糊搜索。此处的更多信息：https://en.wikipedia.org/wiki/Full-text_search

然而，文档非常繁重。另一个选择是Elasticsearch，它具有很好的文档说明。

尝试发明这一点会很棘手，并且需要一些时间才能获得良好的结果。

我知道您已经接受了另一个答案，像Sphinx或Elasticsearch这样的全文本搜索工具是一个不错的选择，但是对于您的用例来说，还有另一个可能更简单。

您没有提及正在使用的数据库，但是其中许多数据库至少对全文搜索提供了一些支持。例如，在MariaDB和MySQL中，您可以搜索FULLTEXT索引。首先，您需要创建索引：

ALTER TABLE drugs ADD FULLTEXT (name);

然后，您可以使用针对索引列的MATCH子句来替换查询中的LIKE子句，如下例所示：

Drug::whereRaw('MATCH(name) AGAINST (?)',[$search]);

有很多用于全文搜索的选项，因此，如果您想扩展它以允许或多或少地模糊结果，或者按匹配的质量对结果进行排序，那是可能的，但是却不知道您使用哪个数据库关于重新使用，我无法详细说明，因此建议您查看数据库的文档。与全文索引匹配不仅比LIKE子句允许更多歧义，而且性能更高。如果您的用例足够简单，您不需要单独的搜索后端（听起来就是这种情况），那么数据库的全文本搜索功能可能就足够了，并且与集成Elasticsearch相比可能更快，更轻松。

fuzzy-search laravel laravel levenshtein-distance sql sql