使用mongoimport导入Date数据类型

问题描述

| 我有许多GB的数据存储在Postgresql数据库中，我需要将这些数据导入到MongoDB中。我使用CSV导出和mongoimport进行了此操作。 在CSV中有像\'2011-06-25 \'这样的列，它已作为字符串而不是作为MongoDate导入，因此我无法按日期有效地搜索。 我发现了这一点：http://www.mongodb.org/display/DOCS/Import+Export+Tools#ImportExportTools-Example%3aimportingInterestingTypes 但该示例说，我需要对该文件使用JSON结构。我真的需要从Postgresql导出JSON文件吗？ 如果我这样做-怎么办？ 如果我不这样做，如何通过CSV导出“ MongoDate”？     

解决方法

        您的选择： 以CSV格式导入内容，并在导入后将数据转换为Date（）（使用mongo控制台或使用您喜欢的语言编写的脚本） 将数据导入为JSON并使用$ date描述符将日期字符串转换为Date实例     ,        实际上，即使有大量数据，第一种选择也相当快。这是使用mongo控制台进行查询的示例：

/usr/bin/mongo yourdbname --eval \"db.yourcollectionname.find().forEach(function(doc){doc.yourdatefield = new ISODate(doc.yourdatefield);db.yourcollectionname.save(doc)});\"

    ,        使用您喜欢的语言编写脚本以导入数据。它将允许您控制数据类型并将结构更改也应用于数据。 通常，从表格数据转换为文档数据库时，您会发现数据的映射是不同的。 如果编写脚本，则可能还需要支持运行多个副本（或线程）以提高导入速度。     ,        如果可能，从源CSV重新导入应该更快。对于相对较大的数据集（1.3亿个对象，源CSV〜6GB），运行

mongoimport

需要40分钟，而@webDEVILopers建议的

forEach

需要24h +（此时我将其取消了）。 要从CSV导入并转换您的日期，我运行了

mongoimport --db your-db-name --type csv --file your-file.csv --collection your-collection --fields timestamp.date\\(2006-01-02\\ 15:04:0
5.00000+00\\),count.int32\\(\\),--columnsHaveType

“ 4”部分比较棘手，您必须以源格式指定该特定日期。所以我的时间戳就像\“ 2018-02-03 12：09：23.00000 + 00 \”，这意味着用该格式格式化参考日期（2006年1月2日15:04:05）（如上述命令所示）。请参阅此作为参考。