redis大幅性能提升之使用管道PipeLine和批量Batch操作

  

       前段时间在做用户画像的时候,遇到了这样的一个问题,记录某一个商品的用户购买群,刚好这种需求就可以用到Redis中的Set,key作为productID,value

就是具体的customerid集合,后续的话,我就可以通过productid来查看该customerid是否买了此商品,如果购买了,就可以有相关的关联推荐,当然这只是系统中

的一个小业务条件,这时候我就可以用到SADD操作方法,代码如下:

Main(= ConnectionMultiplexer.Connect( </span><span style="color: #0000ff;"&gt;var</span> db =<span style="color: #000000;"&gt; redis.GetDatabase(); </span><span style="color: #0000ff;"&gt;var</span> productID = <span style="color: #0000ff;"&gt;string</span>.Format(<span style="color: #800000;"&gt;"</span><span style="color: #800000;"&gt;productID_{0}</span><span style="color: #800000;"&gt;"</span>,<span style="color: #800080;"&gt;1</span><span style="color: #000000;"&gt;); </span><span style="color: #0000ff;"&gt;for</span> (<span style="color: #0000ff;"&gt;int</span> i = <span style="color: #800080;"&gt;0</span>; i < <span style="color: #800080;"&gt;10</span>; i++<span style="color: #000000;"&gt;) { </span><span style="color: #0000ff;"&gt;var</span> customerID =<span style="color: #000000;"&gt; i; db.SetAdd(productID,customerID); } }</span></pre>

    但是上面的这段代码很明显存在一个大问题,Redis本身就是基于tcp的一个Request/Response protocol模式,

从图中可以看到,有很多次的192.168.23.1 => 192.168.23.151 之间的数据往返,从传输内容中大概也可以看到有一个叫做productid_xxx的前缀,

那如果有百万次局域网这样的round trip,那这个延迟性可想而知,肯定达不到我们预想的高性能。

     刚好基于我们现有的业务,我可以定时的将批量的productid和customerid进行分组整合,然后用batch的形式插入到某一个具体的product的set中去,

接下来我可以把上面的代码改成类似下面这样:

Main( ConnectionMultiplexer redis = ConnectionMultiplexer.Connect( db = productID = .Format(, list = List<> ( i = ; i < ; i++ (RedisValue)i).ToArray()); }

从截图中传输的request,response可以看到,这次我们一次性提交过去,极大的较少了在网络传输方面带来的尴尬性。。

  product维度的画像我们可以解决了,但是我们还有一个customerid的维度,也就是说我需要维护一个customerid为key的set集合,其中value的值为

该customerid的各种平均值,比如说“总交易次数”,“总交易金额”。。。等等这样的聚合信息,然后推送过来的是批量的customerid,也就是说你需要定时

维护一小嘬set集合,在这种情况下某一个set的批量操作就搞不定了。。。原始代码如下:

Main( ConnectionMultiplexer redis = ConnectionMultiplexer.Connect( db = orderTotalPrice = customerIDList = List<> ( i = ; i < ; i++ ( item customerID = .Format( }

    上面这种代码在生产上当然是行不通的,不过针对这种问题,redis早已经提出了相关的解决方案,那就是pipeline机制,原理还是一样,将命令集整合起来通过

一条request请求一起送过去,由redis内部fake出一个client做批量执行操作,代码如下:

Main( ConnectionMultiplexer redis = ConnectionMultiplexer.Connect( db = orderTotalPrice = customerIDList = List<> ( i = ; i < ; i++ batch = ( item customerID = .Format( }

然后,我们再看下面的wireshark截图,可以看到有很多的SADD这样的小命令,这就说明有很多命令是一起过去的,大大的提升了性能。

最后可以再看一下redis,数据也是有的,是不是很爽~~~

.:> keys * ) ) ) ) ) ) ) ) ) )

好了,先就说到这里了,希望本篇对你有帮助。

相关文章

文章浏览阅读1.3k次。在 Redis 中,键(Keys)是非常重要的概...
文章浏览阅读3.3k次,点赞44次,收藏88次。本篇是对单节点的...
文章浏览阅读8.4k次,点赞8次,收藏18次。Spring Boot 整合R...
文章浏览阅读978次,点赞25次,收藏21次。在Centos上安装Red...
文章浏览阅读1.2k次,点赞21次,收藏22次。Docker-Compose部...
文章浏览阅读2.2k次,点赞59次,收藏38次。合理的JedisPool资...