如何在 OpenRefine 中过滤大量 JSON?

问题描述

我正在使用 OpenRefine 通过 Sherpa Romeo API(Sherpa Romeo 是一个汇总发布商政策的网站)获取有关发布商政策的信息。我知道了。

现在我需要解析返回的 JSON,以便保留那些具有某些信息的部分。我感兴趣的结果需要包括以下内容

'any_website',

'any_repository',

'institutional_repository',

'non_commercial_institutional_repository',

'non_commercial_repository'

这些关于信息的部分都属于一个名为“permitted_oa”的数组。出于某种原因,我什至不知道如何拉出该阵列。我试过写 grel 表达式,例如

value.parseJson().items.permitted_oa

但它从不返回任何东西。

我希望我可以共享 JSON,但它太大了。

解决方法

我可以在这里看到几个问题。

首先,Sherpa API 响应 items 是一个数组(即事物列表)。当您在 JSON 中有一个数组时,您要么必须从该数组中选择一个特定的项目,要么必须在 GREL 中明确地处理该数组中的事物列表(也就是遍历该数组)。如果您以前在 GREL 中使用过数组,您就会熟悉这一点,但如果您还没有

  • value.parseJson().items[0] -> 数组中的第一项
  • value.parseJson().items[1] -> 数组中的第二项
  • value.parseJson().items[2] -> 数组中的第三项等等

如果您知道数组中只会有一个项目,那么您可以安全地使用 value.parseJson().items[0]

但是,如果您不知道数组中有多少项并且您对它们都感兴趣,则必须使用诸如“forEach”之类的 GREL 控件遍历该数组:

forEach(value.parseJson().items,v,v)

是一种遍历数组的方法 - 每次 GREL 在数组中找到一个项目时,它都会将其分配给变量“v”,然后您可以像使用“v”一样对该值进行进一步的操作通常会使用“值”(有关在数组上使用 forEach 的示例,请参阅 https://docs.openrefine.org/manual/grel#foreache1-v-e2

另一种可能是在数组上使用 join。这会将数组中的所有内容连接成一个字符串。

value.parseJson().items.join("|")

看起来 Sherpa JSON 大量使用数组,因此您可能会发现需要处理更多数组才能获得所需值。

其次,在 JSON 中,您粘贴的“oa_permitted”不是直接在“item”中,而是在另一个名为“publisher_policy”的数组中 - 因此您还需要对其进行导航。所以:

value.parseJson().items[0].publisher_policy[0].permitted_oa[0]

将在 items 数组的第一项中的第一个 publisher_policy 中为您获取第一个 allowed_oa 对象。如果您想(例如)从您粘贴的 JSON 中获取位置列表,您可以使用:

value.parseJson().items[0].publisher_policy[0].permitted_oa[0].location.location.join("|")

基于假设只有一个项目,单个publisher_policy 和singe allowed_oa,这将为您提供一个以竖线(“|”)分隔的位置列表 - 在您在此处提供的 JSON 的情况下,这是正确的(但可能并不总是正确的)