问题描述
我正在尝试使用 python 重复数据删除地名录来处理针对一百万条记录搜索的数百万条记录。我知道这里有一个重复数据删除 postgres 示例：
但那是一些旧版本。它具有普通重复数据删除用于索引商品然后将其写入数据库的索引方法，这很好，但它并没有真正反映新重复数据删除示例的索引方法。 postgres dedupe sample
在新的有阻塞映射和逆索引thingamajig。我是否只是根据规范字典加载整个索引：
gazetteer.index(canonical)
然后这样写：
results = gazetteer.search(messy,n_matches=2,generator=True)
一次向数据库输入一个条目，或者更现实地说，一次输入 100,000 个条目？不需要逆thingamabobble 或blocking map？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）