在mysql中，如何避免将相似的数据文件加载到表中

问题描述

| 我正在使用以下命令

LOAD DATA INFILE \'/sample.txt\' INTO TABLE TEST FIELDS TERMINATED BY \'\\t\' LInes TERMINATED BY \'\\n\';

每当执行此查询时，表\“ TEST \”都会从sample.txt文件中添加值。 如果表尚未加载该文件，如何避免在table.i中存在多个条目。     

解决方法

        diEcho的评论几乎是正确的-在数据中标识唯一的列组合并将它们声明为表上的唯一索引-但重要的是，您还需要修改LOAD DATA语句-因为它的立场是，它会在第一时间崩溃出现重复记录。您需要添加一个IGNORE：

 LOAD DATA INFILE \'/sample.txt\' IGNORE INTO TABLE `test` 
  FIELDS TERMINATED BY \'\\t\' LINES TERMINATED BY \'\\n\';

尽管出于个人喜好，您应该考虑将整个数据集加载到暂存表中，然后再适当地处理重复项。