Stardog添加太慢加载拆分文件

问题描述

我正在尝试使用Stardog加载约20亿个三元组。压缩文件大小为19GB。

这是我尝试过的一些事情：

1. 我在农村地区，供电有些不可靠。我不能期望连续很多天都具有连续的功能，因此我将使用Stardog的19GB文件拆分为150个100mb的文件（结果约为15GB。我使用不同的设置尝试了很多次，只是为了确保它永远不会加和高达19GB）。
2. 我已经在属性文件中设置了memory.mode = bulk_load，strict.parsing=false。
3. 已导出STARDOG_SERVER_JAVA_ARGS="-Xmx6g -xms6g -XX:MaxDirectMemorySize=10g"。

但是增加速度越来越慢，我认为我不会在合理的时间内完成。我在不到15分钟的时间内加载了第一个文件，然后过了30分钟，甚至一个小时。今天要花2个多小时。从头开始创建新数据库的速度更快，但是正如我所说，我无法做到这一点。我在这里有什么选择？还是还有其他更合适的工具（例如耶拿）？

我使用以下方法添加到现有数据库中：

stardog data add -f NTRIPLES --compression gzip database_name wdump-xxx.nt.gz

并使用以下命令创建新数据库：

stardog-admin db create -n database_name wdump-xxx.nt.gz

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）