如何在字符串中搜索数千个可能的关键字

问题描述

| 我有数千个（约10,000个）关键字的数据库。当用户在我的站点上发布博客时，我想自动在文本中搜索关键字，并用任何直接匹配标记该帖子。 到目前为止，我所能想到的就是拉出整个关键字列表，遍历整个关键字列表，然后检查帖子中每个标签的存在……这似乎效率很低（有10,000个循环）。 有更通用的方法吗？我是否应该使用MySQL查询来限制它？ 我想这不是一个完全罕见的任务。     

解决方法

不，只是不要这样做。 与其遍历10000个元素，不如从句子或文本中提取单词，然后将其添加到SQL查询中，这样您将拥有所有需要的记录。这肯定比您提出的解决方案更有效。 您可以使用PHP以以下方式执行此操作：

$possible_keywords = preg_split(\'/\\b/\',$your_text,PREG_SPLIT_NO_EMPTY);

上面的代码将在单词的边界上分割文本，并且在数组中不返回任何空元素。 然后，您可以按照类似于以下方式创建SQL查询：

SELECT * FROM `keywords` WHERE `keywords`.`keyword` IN (...)

（只需将提取单词的逗号分隔列表放在方括号中） 您可能应该在进行查询之前过滤

$possible_keywords

数组（以仅包括具有适当长度的关键字并排除重复项），并为

keyword

列建立索引。     ,我不知道您打算使用哪种语言，但是如果您愿意的话，可以使用标准的trie（前缀树）解决此问题。     ,我猜您可以动态构建一个正则表达式，这将使您能够匹配特定字符串内的关键字。您可以将所有这些打包在一个可以完成艰苦工作的类中。

class KeywordTagger {
  static function getTags($body) {
    if(preg_match_all(self::getRegex(),$body,$keywords)) {
      return $keywords[0];
    } else {
      return null;
    }
  }

  private static $regex;
  private static function getRegex() {
    if(self::$regex === null) {
      // Load Keywords from DB here
      $keywords = KeywordsTable::getAllKeywords();

      // Let\'s escape
      $keywords = array_map(\'KeywordTagger::pregQuoteWords\',$keywords);

      // Base Regex
      $regex = \'/\\b(?:%s)\\b/ui\';

      // Build Final
      self::$regex = sprintf($regex,implode(\'|\',$keywords));
    }

    return self::$regex;
  }

  private static function pregQuoteWords($word) {
    return preg_quote($word,\'/\');
  }
}

然后，您要做的就是，当用户编写帖子时，通过该类运行该帖子：

$tags = KeywordTagger::getTags($_POST[\'messageBody\']);

为了提高速度，您可以使用memcached，APC或基于文件的旧缓存来缓存内置的正则表达式。     ,好吧，我认为PHP的条纹已经非常优化。如果要进一步优化此搜索，则必须利用关键字之间的相似性（例如，不要先查找\“ foobar \”，然后再查找\“ foobaz \”，然后再查找\“ fooba \”）对于每个\“ fooba \”（如果后跟一个\'r \'，一个\'z \'或无）。但这需要关键字的某种树表示形式，例如： 根（空字符串）

 |

fooba

/  \\

foob​​ar foobaz 是的，这是一个尝试。