Wikidata Virtuoso SPARQL Endpoint - 如何获得超过 100,000 个结果

问题描述

我需要为一个项目获取 Wikidata 工件（实例类型、重定向和消歧）。

由于原始维基数据端点在查询方面有时间限制，我遇到了 Virtuoso Wikidata endpoint。

我遇到的问题是，如果我尝试使用此查询获取例如重定向，它最多只返回 100,000 个结果：

PREFIX owl: http://www.w3.org/2002/07/owl#
CONSTRUCT {?resource owl:sameAs ?resource2}
WHERE
{
?resource owl:sameAs ?resource2
}

我写信是想询问您是否知道获得超过 100,000 个结果的任何方法。我希望能够获得最大数量的可能结果。

获得结果后，我必须有 3 个 Ntriples 格式的文件（或尽可能少的文件）：wikidata_intance_types.nt、wikidata_redirecions.nt 和 wikidata_disambiguations.nt。

非常感谢您。

一切顺利，

何塞·曼努埃尔

解决方法

请注意，在这两种情况下（Wikidata 本身，以及由我的雇主 OpenLink Software 提供的 Virtuoso 实例），您都在查询共享资源，并且应该有各种限制。

随着时间的推移，您应该将查询间隔开，并考虑比您遇到的 100,000 个限制更小的块 - 一次可能 50,000，等待每个查询完成检索结果，再加上一秒或十秒，然后再发出下一个查询。

this article 中关于使用 DBpedia 公共 SPARQL 端点的大部分指南都与任何公共 SPARQL 端点相关，尤其是那些由 Virtuoso 提供支持的端点。其他端点上的特定设置会有所不同，但如果您尝试保持友好——通过限制查询速率；当使用 ORDER BY、LIMIT 和 OFFSET 逐步获取溢出实例最大结果集大小的查询的完整结果集时，限制部分结果集的大小；等等——你会成功得多。