mongodb利用索引对find结果排序(sort)

mongodb利用索引对find结果排序(sort)

最近线上有个接口超时报警,排查发现是查询MongoDB的时候比较慢(平均耗时1s以上)。文档结构很简单:

{
    "_id" : NumberLong(1214789),
    "created_at" : ISODate("2019-02-21T16:08:44.337Z"),
    "updated_at" : ISODate("2019-02-21T16:08:44.337Z"),
    "cid" : 158865,
    "uid" : NumberLong(1024654707),
    "object_id" : "",
    "random" : 163595854,
    "participation_num" : 1
}

已有索引:

{"_id":1}
{"uid":1}
{"cid":1}
{"cid":1,"uid":1}

接口里的查询转换成查询语句为:

db.record.find({
    "cid":158865,
    "is_del": {
        "$ne": true
    }
}).sort({"_id": -1}).limit(10)

数据量100W+,不小,但是对MongoDB来说应该也不算大。

想当然的觉得:已经有cid索引,那么find时走索引应该查起来很快,排序的话,_id也是有索引的,应该不会出现问题啊。后经老大指点,MongoDB的索引应该和MysqL一样只能用一个(事实上2.6版本开始mongo是可以一个查询使用多个索引的)。

既然是只能用一个索引,那当然想着把sort里的字段也加一起弄一个复合索引:

{"cid":1,"cid":-1}

加上索引后这里explain里可以看到:

        "winningPlan" : {
            "stage" : "FETCH",
            "filter" : {
                "$not" : {
                    "is_del" : {
                        "$eq" : true
                    }
                }
            },
            "inputStage" : {
                "stage" : "IXSCAN",
                "keyPattern" : {
                    "cid" : 1,
                    "_id" : -1
                },
                "indexName" : "cid_id",
                "ismultikey" : false,
                "direction" : "forward",
                "indexBounds" : {
                    "cid" : [ 
                        "[158865.0, 158865.0]"
                    ],
                    "_id" : [ 
                        "[MaxKey, MinKey]"
                    ]
                }
            }
        }

这里查询出来的实际上就直接是排好序的了

这里总结下mongo的索引一些要注意的地方:

{
    "_id":1111,
    "a":2222,
    "b":3333
}

有如下三个索引:

{"_id":1}
{"a":1}

当使用如下查询时,在数据量不同时,mongo选择的查询方案是不同的:

db.testdoc.find({"a":2222}).sort({"_id":-1}).limit(10)

当数据量少时,会使用{"_a":1}索引,并进行内存排序,当数据量大时,会使用{"_id":1}索引,这个时候find里的a并没有用到索引,所以最终是会扫描所有文档,速度非常慢(上面线上接口慢其实也是这样的情况).

  • 索引里的排序顺序要和sort里的完全一致或完全相反:{"a":-1,"b":1}能用于{"a":-1,"b":1}{"a":1,"b":-1}

相关文章

MongoTemplate 是Spring Data MongoDB 中的一个核心类,为 S...
笔者今天要分享的是一个项目重构过程中如何将数据库选型由原...
mongodb/mongoTemplate.upsert批量插入更新数据的实现
进入官网下载官网安装点击next勾选同意,点击next点击custom...
头歌 MongoDB实验——数据库基本操作
期末考试复习总结