将巨大的分区My_ISAM表复制到单个innoDB表中

问题描述

我有一个巨大的My_ISAM表“ msg_c_total”，实际上已分为“ msg_c_1”到“ msg_c_200”。我想用新名称制作“ msg_c_total”的innoDB副本。我仍然无法更改原始表（并将其更改为innoDB），因为某些存储过程仍可在分区表上工作。

我创建了一个新的innoDB表（只有一个索引，以避免在插入过程中变慢）。然后，我使用以下命令。 30分钟后，查询仍在运行，新表中没有记录。 MySQL也逐渐变得不响应。

INSERT into msg_new SELECT * FROM msg_c_total

1- Percona工具是否提供某些功能来制作副本（希望能逐步制作，以避免服务器严重减速）。

2-有没有办法逐步运行上述“插入”（并且自动执行，而无需在select命令中添加范围）。

谢谢。

服务器配置：

ft_min_word_len         =3

connect_timeout         =15
join_buffer_size        =4M
key_buffer_size         =6G
max_allowed_packet      =2M
max_connections         =2600
max_connect_errors      =30
myisam_sort_buffer_size =528M
read_buffer_size        =4M
read_rnd_buffer_size    =4M
sort_buffer_size        =4M
table_cache             =512
thread_cache_size       =256
thread_concurrency      =16
wait_timeout            =120
max_tmp_tables          =512
tmp_table_size          =512M
max_heap_table_size     =512M
interactive_timeout     =1800
query_cache_type        =1
query_cache_size        =512M
skip-external-locking
skip-name-resolve
myisam-recover          =FORCE,BACKUP
concurrent_insert       =2
open-files              =30000
event_scheduler=ON
innodb_file_per_table
innodb_data_home_dir            = /app/mysql
innodb_data_file_path           = ibdata1:10M:autoextend
innodb_buffer_pool_size         = 30G
innodb_additional_mem_pool_size = 256M
innodb_log_file_size            = 1256M
innodb_log_buffer_size          = 64M
innodb_flush_log_at_trx_commit  = 2
innodb_lock_wait_timeout        = 50
innodb_table_locks              = 0
innodb_support_xa               = 0
innodb_thread_concurrency       = 16
skip-innodb_doublewrite
innodb_buffer_pool_restore_at_startup = 1

long_query_time                 = 3

解决方法

MyISAM仅锁定整个表。 SELECT正在阻止所有写操作。

按分区的意思是“ PARTITION BY ...”，而msg_c_1是 partition 的名称吗？还是msg_c_1是表名，您正在使用代码选择适当的表？

请提供SHOW CREATE TABLE；有很多字幕需要检查。

被“表”分割的是什么？

200是一个相当大的分区。

PRIMARY KEY是什么？有任何UNIQUE键吗？

我可能建议使用类似http：//localhost/rjweb/mysql/doc.php/deletebig#deleting_in_chunks的内容来进行大块复制。 （忽略“删除”和“更新”；着重于分块。）但是，由于PK未与MyISAM中的数据聚集在一起，因此某些性能将不可用。

多少内存？ key_buffer_size和innodb_buffer_pool_size的设置是什么？有关同时使用两个引擎的操作，请参见http：//localhost/rjweb/mysql/doc.php/memory。