如何在无法腌制的python中保存大型机器学习模型?

问题描述

我正在使用dill.dump()保存我拥有的(机器学习库)模型时遇到问题,但是,这会引发错误,这似乎与模型的大小有关

/usr/local/python/3.6.2-static/lib/python3.6/pickle.py in save_bytes(self,obj)
    699             self.write(BINBYTES8 + pack("<Q",n) + obj)
    700         else:
--> 701             self.write(BINBYTES + pack("<I",n) + obj)
    702         self.memoize(obj)
    703     dispatch[bytes] = save_bytes

error: 'I' format requires 0 <= number <= 4294967295

我试图找到一种保存i的解决方案。在此link中,作者建议作者建议另存为HDF5文件。

我不确定是否以正确的方式编写了该命令,但是我试图将模型“ ola”保存为hdf

from klepto.archives import *
file_archive('model_la.pkl',ola,serialized=True)

它引发错误:

~/my-env/lib/python3.6/site-packages/klepto/archives.py in __new__(file_archive,name,dict,cached,**kwds)
    118         archive = _file_archive(name,**kwds)
    119         if cached: archive = cache(archive=archive)
--> 120         archive.update(dict)
    121         return archive
    122 

TypeError: 'OLA' object is not iterable

OLA是我使用的算法。你有什么主意吗?如何保存该模型?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)