python-许多并行写入导致数据库磁盘映像格式错误

我正在使用Lustre文件系统的群集上运行许多(18k)批处理作业.作业是同时提交的,每个作业大约需要3秒钟,然后它们使用sqlite3 python模块写入结果.代码的编写部分非常简单：

with sqlite3.connect(name, timeout=900) as conn: 
    conn.execute(
        "insert into soMetable values (?, ?)", (value1, value2))   

但是很多工作都会引发异常：

sqlite3.DatabaseError: database disk image is malformed

有时

sqlite3.OperationalError: unable to open database file

我猜想这与许多工作有关,它们在写入文件时会锁定文件,但我的印象是sqlite3应该知道耐心等待文件免费.我的错误是否可能是太多并行写入的结果？我该如何解决？

解决方法:

sqlite不支持在分布式文件系统上的存储.并发访问需要锁定,并且不会在这样的系统上转移.

您必须改为使用支持网络模型的数据库,例如MysqL或Postgresql.