从数据提取中解析和插入数千行的选项有哪些

问题描述

我正在构建一个缓存更新程序,以将某些区块链数据缓存在本地Postgresql数据库中。我使用node-postgres创建了一个节点js脚本。提取所有数据后,我将执行for in循环来解析并一次将其插入一行。

我用2000行进行了测试,该行花了5分钟来检索,解析和插入。一切进展顺利,但将来我可能会收到更多条目。 通常,我应该只在开始时进行一次完全同步,然后执行cron作业每5秒更新一次新条目。

由于本地数据库将进行定期备份,因此在最佳情况下,如果发生问题,我可以重新导入过去的本地备份并仅从那里同步丢失的条目。如果出现问题,并且需要重做大约20或40 000行的完全同步,这仍然是一次循环执行一行的有效选择吗?我知道这可能需要1个小时或更长时间,但这只是在最坏的情况下进行的,因此时间不是问题。还是有更好的方法做到这一点?

谢谢。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...