问题描述
|
我有很多对象，它们通过保留对其他对象的引用来形成网络。所有对象（节点）都有一个dict，即它们的属性。
现在，我正在寻找一种快速的方法来存储这些对象（在文件中？）并在以后将它们全部重新加载到内存中（我不需要随机访问）。数据大约有300MB的内存，需要40秒钟才能从我的sql格式加载，但是我现在想将其缓存以提高访问速度。
您会建议哪种方法？
（尽管尝试与getstate混为一谈，但由于递归错误，我的泡菜尝试失败了：（也许反正还是快？？）
解决方法
泡菜是我的第一选择。但是由于您说它没有用，所以您可能想尝试搁置，甚至认为这不是搁置的主要目的。
确实，您应该为此使用Pickle。也许您可以发布一些代码，以便我们看一下并弄清楚为什么它不起作用
,\“ pickle模块跟踪已序列化的对象，因此以后对同一对象的引用将不再被序列化。\”因此可以。也许将递归限制增加为limit0ѭ。
使用Python的Pickle / cPickle达到最大递归深度
,也许您可以设置一些间接层，其中对象实际上位于其中，例如，另一个字典，并且引用另一个对象的对象将存储被引用对象的键，然后通过字典访问该对象。如果存储键的对象不在字典中，则会从您的SQL数据库中将其加载到字典中，并且当不再需要它时，可以从字典/内存中删除该对象（可能是并在删除内存中的版本之前更新数据库中的状态）。
这样，您不必一次从数据库中加载所有数据，并且可以将许多对象缓存在内存中，以便更快地访问这些对象。缺点是每次访问主字典都需要额外的开销。