Dbplyr：组合两个表并将结果添加到数据库中，而不将它们加载到内存中

编程问答 2022-06-02

问题描述

请看文章末尾的简单脚本。 我有一个包含两个表的数据库，我使用 union_all 将它们组合在一起。 有没有办法将结果添加到数据库而不收集数据，即将它们加载到内存中？ 非常感谢！




library(tidyverse)
library(DBI) # main DB interface
library(dbplyr) # dplyr back-end for DBs
#> 
#> Attaching package: 'dbplyr'
#> The following objects are masked from 'package:dplyr':
#> 
#>     ident,sql
library(Rsqlite)


##create the databases

df1 <- tibble(x=1:20,y=rep(c("a","b"),10))


df2 <- tibble(x=101:120,y=rep(c("d","e"),10))




con <- dbConnect(drv=Rsqlite::sqlite(),dbname="db.sqlite")

dbWriteTable(con,"mydata1",df1,overwrite=T)
dbWriteTable(con,"mydata2",df2,overwrite=T)

dbdisconnect(con) # closes our DB connection


con <- dbConnect(drv=Rsqlite::sqlite(),dbname="db.sqlite")

mydb1 <- tbl(con,"mydata1")
mydb2 <- tbl(con,"mydata2")


mydb12 <- union_all(mydb1,mydb2)

#is there a way to add the union of mydb1 and mydb2 to the database without explicitly collecting the data?

由 reprex package (v0.3.0) 于 2020 年 12 月 24 日创建

解决方法

既然要处理 SQL，就用 SQL。

collect(mydb1) %>%
  nrow()
# [1] 20
DBI::dbExecute(con,"insert into mydata1 select * from mydata2")
# [1] 20
collect(mydb1) %>%
  nrow()
# [1] 40
collect(mydb1) %>%
  tail()
# # A tibble: 6 x 2
#       x y    
#   <int> <chr>
# 1   115 d    
# 2   116 e    
# 3   117 d    
# 4   118 e    
# 5   119 d    
# 6   120 e

如果您想在新表中合并数据，那么这里有一个替代方案。

DBI::dbExecute(con,"
  create table mydata12 as
    select * from mydata2 union all select * from mydata1")
dbplyrdplyrdplyrrr