提高从R中的Rest Api提取数据的速度 代码输出

问题描述

我正在使用R从API提取数据，我想知道是否可以加快调用速度。通常在提取数据后，我必须使用其他一些功能来获得所需的输出。通常，这会使我的代码变慢很多。

这是一个可重现的示例：（api密钥是免费的）

library(httr)
library(jsonlite)
data = GET("https://finnhub.io/api/v1/stock/candle?symbol=AAPL&resolution=1&from=1572651390&to=1572910590&token=btj392748v6p9f1po5vg")
value = data$content
value = rawToChar(value)
value = fromJSON(value)

head(value$c,10)
#[1] 257.57 257.07 257.14 257.37 257.57 257.66

有没有一种方法可以加快从服务器的通话速度？我发现我必须使用许多我想连接的api来做到这一点。速度对我很重要。如果您有什么建议的更好的方法，将不胜感激。

@ dave2e的想法很有效-只需通过fromJson调用（“ URL进入此处”）即可。

但是，我从中调用的某些api需要标头。这就是我通常使用GET（）调用它的方式。

token = "mysecretpassword"
value = GET(url,add_headers(Authorization = token))

我如何在fromJson（）中做到这一点？

解决方法

您无法控制下载或远程服务器。但是，您可以控制JSON转换，没有什么比可以通过simdjson使用的RcppSimdJson更快的了。

代码

library(httr)
library(jsonlite)
library(RcppSimdJson)
library(rbenchmark)
data <- GET("https://finnhub.io/api/v1/stock/candle?symbol=AAPL&resolution=1&from=1572651390&to=1572910590&token=btj392748v6p9f1po5vg")
benchmark(value1 <- fromJSON(rawToChar(data$content)),value2 <- RcppSimdJson::fparse(data$content),replications=1000[,1:4]

输出

R> library(httr)
R> library(jsonlite)
R> library(RcppSimdJson)
R> library(rbenchmark)
R> data <- GET("https://finnhub.io/api/v1/stock/candle?symbol=AAPL&resolution=1&from=1572651390&to=1572910590&token=btj392748v6p9f1po5vg")
R> benchmark(value1 <- fromJSON(rawToChar(data$content)),+           value2 <- RcppSimdJson::fparse(data$content),replications=1000)[,1:4]
                                          test replications elapsed relative
1  value1 <- fromJSON(rawToChar(data$content))         1000   0.987   13.708
2 value2 <- RcppSimdJson::fparse(data$content)         1000   0.072    1.000
R> 

现在，转换方面的速度提高了13倍。这对您整体而言是否重要，只有您可以决定。