问题描述
我正在将 mongo 集合导出为 json 格式,然后使用 bq load 命令将该数据加载到 bigquery 表中。
mongoexport --uri mongo_uri --collection coll_1 --type json --fields id,createdAt,updatedAt --out data1.csv
json 行如下所示:
{"_id":{"$oid":"6234234345345234234sdfsf"},"id":1,"createdAt":"2021-05-11 04:15:15","updatedAt":null}
但是当我在 bigquery 中运行 bq load 命令时,它给出了以下错误:
无效的字段名称“$oid”。字段只能包含字母、数字和下划线,以字母或下划线开头,长度最多为 300 个字符。
我认为如果 mongoexport json 包含 {"_id": ObjectId(6234234345345234234sdfsf)} ,我的问题将得到解决。
有没有办法像这样导出json? 或者有什么其他方法可以做到这一点?
注意:我不能使用 csv 格式,因为 mongo 文档包含逗号。
解决方法
默认情况下,_id 持有一个 ObjectId 值,因此最好以 {"_id": ObjectId(6234234345345234234sdfsf)} 格式存储数据,而不是将其存储在 "_id":{"$oid":"62342343453452sf"34s} 格式
正如您提到的,如果 json 包含 {"_id": ObjectId(6234234345345234234sdfsf)},您的问题将得到解决。