Redis缓存新闻文章

问题描述

我有一堆新闻报道(目前约有10万条新闻)。每篇文章都可以涉及多个类别。因此,我有两个键article URLcategory。我需要将这些文章存储在Redis中,并需要按类别对它们进行分组。我需要快速获取任何类别的所有文章,并通过其URL获得一篇文章。我还需要所有文章都具有到期时间。

我决定使用哈希集,但后来了解到哈希集项没有到期日期。

简而言之,我不确定从这里去哪里最好。我在这方面还很新。我想知道是否有一些最佳做法。

解决方法

您可以使用排序集来存储特定类别的文章列表。您将internal const val DEFAULT_INITIAL_PAGE_MULTIPLIER = 3 val initialLoadSize: Int = pageSize * DEFAULT_INITIAL_PAGE_MULTIPLIER,用作到期时间,将score用作值。我不建议您将整个文章(全文)作为值存储,因为由于多个类别将具有相同的文章,并且您需要将同一文章存储在不同的和多个排序的集合(a,b类)上,因此内存使用量可能会急剧增加,c可能都有第1,2,3条。)

设置文章时

  • id文章(id为键),带有SET选项。 (文本将在此处)
  • EX文章的URL为键,文本为值,并带有SET选项。 (我正在跳过这部分,在您这边已经很清楚了)
  • 对于文章具有的每个类别,运行EX(从-inf到当前时间戳)以删除已经过期的文章。
  • ZREMRANGEBYSCORE将文章的ID推到类别已排序的集合(过期时间将是分数,值是文章ID)
  • 通过ZADD分页获取文章ID。
  • 或者,您可以在使用ZRANGE之前使用ZREMRANGEBYSCORE。
  • 它将为您提供文章ID,然后您可以使用ZRANGE来获取文章文本。

为简单起见,我使用了较短的到期时间。

GET

如果您不想在排序集中使用文章ID,则可以设置文本而不是127.0.0.1:6379> SET article:1 very-long-article-text EX 120 OK 127.0.0.1:6379> ZREMRANGEBYSCORE category:1 -inf 20 (integer) 0 127.0.0.1:6379> ZADD category:1 3 article:1 (integer) 1 127.0.0.1:6379> SET article:2 article-details EX 120 OK 127.0.0.1:6379> ZREMRANGEBYSCORE category:1 -inf 20 (integer) 1 127.0.0.1:6379> ZADD category:1 3 article:2 (integer) 1 127.0.0.1:6379> ZRANGE category:1 0 9 1) "article:2" 127.0.0.1:6379> ZADD category:2 3 article:2 (integer) 1 ,并在获得所有ID后取消使用id

,

@Ersoy答案对于您的情况是一个很好的解决方案,我认为有一些增强功能:

  1. 我建议不要直接使用URL作为Redis键,因为URL可能很长,并且包含一些特殊字符(例如'/')。使用MD5或BASE64进行编码将是一个增强。

  2. 在执行多个Redis命令进行更新时,如果您逐个执行这些命令,请考虑并发情况。或者,您可以使用事务或锁定来使其原子化。