[日常] Redis中set集合的使用思考

公司部门同事有个需求，就是需要把当前另一个部门a中存储的数据全部导出来，自己当前业务b的数据全部导出来，两个要取一下差集，把a中存在，b中不存在的记下来，要去调用某接口把对应的文件删除。这个我感觉可以使用redis的集合来进行操作，但是考虑到数据量特别大，文件有200G，内存估计不够用，暂时还不知道咋整。

redis中集合的操作方法
sADD 添加一个或多个成员到集合里面
sCard,sSize 获取一下集合中成员的个数
sDiff 在N个集合中比较出差集
sDiffStore 和sDiff差不多，但是把差集结果存储在第一个key里面
sInter 返回多个集合的交集
sInterStore 和sInter类似，把结果存储在第一个key里面
sIsMember,sContains检查参数中的成员是否是集合中的一员
sMembers,sGetMembers 获得集合中的所有成员
sMove 把集合中的成员从一个集合移动到另一个集合
sPop 在集合中随机删除一个并获取到这个成员
sRandMember 在集合中随机获取一个成员，并不删除它
sRem,sRemove 在集合中删除指定成员
sUnion 返回多个集合的并集
sUnionStore 把多个集合的并集存储在第一个参数key里面

因为redis的集合是使用的哈希表实现的，因此是无序的，并且对单个元素的处理和判断都是高效的。也可以看得到在进行多个成员的处理时，时间复杂度都是O(N),对单个成员进行查找删除判断是否存在等处理时，时间复杂度都是O(1)

sPop sRandMember，这种可以在集合中取出随机值的可以用在抽奖场景下
并集交集差集，可以用在实时性比较高的大量数据的取集合操作

当需要对大量的数据进行集合的操作，比如判断是否存在的需求时，可以使用布隆过滤器
布隆过滤器可以理解为一个不怎么精确的 set 结构，当你使用它的 contains 方法判断某个对象是否存在时，它可能会误判。但是布隆过滤器也不是特别不精确，只要参数设置的合理，它的精确度可以控制的相对足够精确，只会有小小的误判概率。

当布隆过滤器说某个值存在时，这个值可能不存在；当它说不存在时，那就肯定不存在
主要是解决大规模数据下不需要精确过滤的场景，如检查垃圾邮件地址，爬虫URL地址去重，解决缓存穿透问题等。

看网上的文章有说在内存超过指定值时，redis会删除失效数据，并且这个时候进行sADD会报超时，这种情况因为我还没遇到过这种场景，也没见过。

查看redis占用的内存大小：
redis-cli
info memory