MySQL导入没有复制的1 TB文本文件

编程问答 2022-08-16

问题描述

使用MysqL将大约980 GB的文件导入数据库时​​，我遇到了一些问题！ 该文件是单词列表，其中包含逐行写入的单词，只有没有任何内容的单词。此文件为utf-8编码，我的表和数据库具有相同的编码-utf8mb4。 为此，我创建了表格：

CREATE TABLE IF NOT EXISTS test_wordlists( id BIGINT NOT NULL PRIMARY KEY AUTO_INCREMENT,password VARCHAR(200) NOT NULL UNIQUE KEY) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci AUTO_INCREMENT=1;

具有自动递增功能和唯一索引，用于删除重复项，并使用命令导入：

LOAD DATA LOCAL INFILE 'path_to_my_wordlists.txt' IGnorE INTO TABLE all_wordlists CHaraCTER SET utf8mb4  LInes TERMINATED BY '\n' (password);

但这对我来说很长，我等不了那么久。 有谁能够帮助我 ？如何将没有重复的980 GB文件导入数据库？ 另外，我已经通过以下命令使用了MysqL Shell导入数据库：

util.import_table("path_to_my_wordlists.txt",{"schema": "wordlists","table": "all_wordlists","columns":["password"],"skipRows": 0,"showProgress": "true","linesTerminatedBy": "\n","bytesPerChunk": "2G","maxRate": "4G","replaceDuplicates":"true","threads": "8"});

但是我一直都收到此错误："MysqL Error 1213 (40001): Deadlock found when trying to get lock; try restarting transaction @ file bytes range [8000000030,10000000045): LOA"

请帮助！

我正在将Ubuntu 18.04与最新的MysqL服务器一起使用

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

databaseimportloadmysql