当生成的 .RData 文件大小大于 2.5Gb 时，无法使用 googleCloudStorageR::gcs_save() 对象有限制吗？如果可以，可以更改吗？

问题描述

我正在使用 googleAuthR、googleCloudEngineR 和 googleCloudStorageR 来启动带有 template = "rstudio" 和 tag <- "gcr.io/gcer-public/persistent-rstudio" 的运行 RStudio 服务器的虚拟机。在 vm 上的 RStudio 中，我正在运行一些代码并将文件写入 Google Cloud Storage。存储桶的访问控制设置为 fine-grained。

我可以通过 gcs_load() 从存储桶中获取保存的对象并通过 gcs_upload() 上传文件，没有问题。我可以使用 gcs_save() 保存对象组合，只要生成的 .RData 文件大小小于 2.5GB（我收到一条消息 Found resumeable upload URL:...成功）。

但是，当我尝试 gcs_save() 对象组合导致 .RData 文件 >2.5GB 时，我收到错误消息： Error in save(...,file = tmp,envir = envir) : error writing to connection vm 有大约 80GB 的可用内存，所以临时文件应该很容易保存在内存中。

在我的计算机本地运行并尝试 gcs_save() 到 Google Cloud Storage 存储分区时，我遇到了同样的问题。

使用 .RData 的 gcs_save() 文件大小是否有硬性限制？如果是这样，有没有办法提高限制？

虚拟机是一个 n1-standard-32。以下是虚拟机的详细信息和包：

   var                 val                           
   <chr>               <chr>                         
 1 platform            "x86_64-pc-linux-gnu"         
 2 arch                "x86_64"                      
 3 os                  "linux-gnu"                   
 4 system              "x86_64,linux-gnu"           
 5 status              ""                            
 6 major               "3"                           
 7 minor               "5.2"                         
 8 year                "2018"                        
 9 month               "12"                          
10 day                 "20"                          
11 svn rev             "75870"                       
12 language            "R"                           
13 version.string      "R version 3.5.2 (2018-12-20)"
14 nickname            "Eggshell Igloo"              
15 stats               "base"                        
16 graphics            "base"                        
17 Grdevices           "base"                        
18 utils               "base"                        
19 datasets            "base"                        
20 methods             "base"                        
21 base                "base"                        
23 jsonlite            "1.6"                         
24 stringdist          "0.9.5.1"                     
25 scales              "1.0.0"                       
26 cluster             "2.0.7-1"                     
27 RColorBrewer        "1.1-2"                       
28 listenv             "0.7.0"                       
29 magrittr            "1.5"                         
30 lubridate           "1.7.4"                       
31 forcats             "0.5.1"                       
32 stringr             "1.4.0"                       
33 dplyr               "1.0.4"                       
34 purrr               "0.3.4"                       
35 readr               "1.3.1"                       
36 tidyr               "1.1.2"                       
37 tibble              "3.0.6"                       
38 ggplot2             "3.3.3"                       
39 tidyverse           "1.2.1"                       
40 future              "1.11.1.1"                    
41 usethis             "1.4.0"                       
42 devtools            "2.0.1"                       
43 httr                "1.4.0"                       
44 bigrquery           "1.3.2"                       
45 googleCloudStorageR "0.4.0.9000"                  
46 googleAuthR         "0.7.0.9000"

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

google-cloud-storage r r