从表中备份/删除的最快方法

问题描述

我正在尝试从具有 > 50M 行的表中备份一些数据。 桌子看起来像这样

# 
entry_id             : int unsignedauto_increment   # unique entry id
---
time=CURRENT_TIMESTAMP : timestamp                  # current timestamp
room                 : varchar(255)                 # Room
id                   : varchar(255)                 # Sensor ID / NAME
value                : double                       # sensor value

我的计划是

1. 获取有限数量的密钥（即 fetch('KEY',limit=some_large_number)）
2. 检索这些 KEYS 的表条目
3. 在磁盘上保存数据块
4. 删除属于 KEYS 的表条目
5. 重新开始......

只是获取，假设 1_000_000 个条目，相当快（几秒钟），但是如果我想通过检索主键 -> 获取数据 -> 删除这些条目 - 我基本上坚持获取数据（>大约 100_000 个条目或超时 (?) 需要 20 分钟。

使用数据联合逻辑执行此任务的最优雅/最省时的方法是什么？

(Datajoint python 版本 '0.13.2')

解决方法

如果您的数据没有变化，那么您可以使用 limit 和 offset 关键字来遍历表，分块获取而不删除或限制。无需先检索主键、限制获取或删除块。

step = 1_000_000
for chunk in range((len(table) + step - 1) // step):
    block = table.fetch(limit=step,offset=step * chunk)
    ... # save block

如果这是一个简单的备份，则不需要删除。如果需要删除数据，最后可以一次性全部删除。