吐出一个用于临时使用的 json 文件的巧妙方法并重新读入

编程问答 2022-05-10

问题描述

我在我的 python 应用程序中使用了重复数据删除包。 对于它的 prepare_training 方法，它需要一个指向训练数据的文件指针。 浏览器

deduper.prepare_training(temp_d,training_file=tf,sample_size=self.training_sample_size)

我将所有内容都保存在一个数据库中。我的所有数据和元数据都用于我的应用程序中的其他所有内容。 我也希望将这些训练数据保存在数据库中。所以我想我会把它保存在表中..将它吐到 JSON 文件中..让训练在使用控制台进行一些训练时改变数据..然后只需将文件加载回表中培训结束。

（除非我听说重复数据删除已开始支持指向训练数据表；））

那么.. 将表转储到 JSON 文件，然后在完成后刷新回表的快速方法是什么？ 我目前使用的是 MysqL v 5.6，所以我没有太多的 JSON 功能。不过我确实计划很快升级。 对于那些不熟悉重复数据删除的人..这个文件可能会变得非常大..所以不确定读一行、写一行是否有意义..因为如下所示，整个文件似乎是1行..强>

训练文件基本上是一个 JSON 字符串，有两对......匹配列表和不同列表。 具有两个不同记录和两个匹配项的示例。仅使用全名字段进行匹配：

{"distinct": [[{"party_id": "13aeae53cc201e9d5c3fc04bd12c04384730413","full_name": null},{“party_id”：“c5ea6c1fefd4404a011a31029bd46cd5c39c543”，“全名”： "xxx GOULDEN"}],[{"party_id": "18ffd01f7f3e0de6486fd259a0fbb1599712c6d","full_name": "yyy 花"},{"party_id": "f612d1098a8962e6c477b5a264509d1208de09d","full_name": null}]],"ma​​tch": [[{"party_id": "dd64f638d7eda45c2a4f74514bdfb6e71e7099a","full_name": "JAFR HAI"},{"party_id": "f76fe6eccd55c4c1b97b8c7628a579db3db7d4e","full_name": "JAFER HAI"}],[{"party_id": "8f6ca373738b222ee92c0dc22e11f3afe9a0a35","full_name": "Mcme,Dou"},{“party_id”：“fae8b1f635e4a96b30d07c0c9773c4641de83e9”，“全名”： "Mcme,Dou"}]]}

仅供参考.. 我使用 sqlAlchemy 库连接到 MysqL。 我将 Pandas 用于我将 excel 读入 MysqL 的其他几个领域。

至少在表中保留两条记录会很好..所以我可以使用我自己的操作更轻松地添加/删除不同或匹配列表中的项目。 想法？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

jsonmysqlpythonpython-dedupe