目录
基本概念与原理
本章介绍DM MPP的一些基础概念与基本原理,虽然读者跳过这一章继续阅读后续章节也能进行DM MPP的相关操作,但是本章的阅读有利于读者进一步理解DM MPP的工作原理,对于后续对MPP系统的规划与管理能起到一定帮助。
基本概念
执行节点EP
DM MPP系统中每一个运行的DM数据库服务器实例称为一个执行节点EP,基于数据守护的MPP环境内的备库除外。
主、从EP
DM MPP采用完全对等无共享架构,对整个系统来说,每个EP作用都是一样的,用户可以连接到其中的任何一个进行操作。而对每个用户会话来说,EP具有主从之分。用户会话实际连接的那个EP对该用户会话来说称为主EP,其余的EP都称为从EP。
数据分布
DM MPP系统中的数据分布在各EP中,支持表数据的哈希分布、随机分布、复制分布、范围分布、LIST分布类型,用户可根据应用的实际情况为表数据选择合适的分布类型。
- 哈希分布
哈希分布按照表定义中指定的一列或多列对行数据计算一个哈希值,再根据哈希值和哈希映射表,将该行数据分布到映射的节点上。
当表的连接查询中使用的连接键为哈希分布列时,MPP下的查询计划会进行优化,比如可能减少计划中通讯操作符个数、使用索引、对分组计划优化等,减少数据在节点间的分发,提高查询效率。
使用哈希分布时,节点间的数据是否均衡,取决于设置的哈希分布列以及表中的数据情况。当节点个数变动时,各个节点的数据需要按照新的哈希映射表重新进行分发。
- 随机分布
随机分布表不存在分布列,插入表数据时会按照一定的随机算法,将数据随机均衡分布到各个节点。
随机分布的优点是数据和节点间不存在映射关系。节点个数变动后,如果没有节点数据均衡的要求,可以不用对节点现有的数据进行变动。
一般来说,随机分布对于复杂查询及存在较多的节点间数据分发情况,性能不如哈希分布高。
- 复制分布
复制分布表在每个节点上的本地数据都是一份完整的拷贝,查询该表数据时在任意节点上都能单独完成,不需要从其他节点获取数据。
复制分布一般用于数据量不是很大的表。
- 范围分布
范围分布按照表定义中指定的一个或多个列的列值范围分布项,决定将一行数据存储到MPP的哪个相应EP上。
- LIST分布
LIST分布通过指定表中的一个或多个列的离散值集,来确定将一行数据存储到MPP的哪个相应EP上。此分布用于表中列值可列举的情况。
建议DM MPP同时支持数据分布与分区表,实现了“数据分布后再分区”。在数据分布到各节点的基础上,再在单个节点上将数据再次分区,可进一步提高查询性能。分布的类型和分区的类型可以混合搭配,比如建立哈希分布表的范围水平分区表。
MAL系统
MAL系统是DM数据库实例间的高速通信系统,是基于TCP协议实现的一种内部通信机制,具有可靠、灵活、高效的特性。DM通过MAL系统实现实例间的消息通讯。
全局连接与本地连接
MPP系统中数据分布在各个EP中,用户只需要登录到某个EP,系统自动建立这个EP与其余EP的连接,因此用户建立的实际上是与整个MPP系统的全局连接,用户对数据库的操作通过全局连接在MPP系统的所有EP进行。使用全局连接时,要求MPP系统的所有EP都正常提供服务,否则无法建立连接。
DM MPP也提供本地连接。当使用本地连接时,用户登录到某个EP后,这个EP不再建立与其余EP的连接,用户的所有数据库操作仅在这个EP上进行。如SELECT语句以及UPDATE和DELETE语句中的WHERE条件中的子查询都仅仅查询本地EP的数据,而INSERT语句如果插入的数据根据分布定义应分布在其余EP时系统会报错。
通常在MPP系统正常运行时都使用全局连接,DM MPP的快速装载和动态扩容使用到了本地连接,用户在某些时候如MPP系统中有EP故障时也可以使用本地连接。
DM的各接口驱动程序都提供了连接属性用于设置全局连接(登录)或本地连接(登录),缺省都为全局连接。DM交互式工具DIsql也提供了登录参数MPP_TYPE用来指定使用全局连接或本地连接,“GLOBAL”表示全局连接,“LOCAL”表示本地连接,默认为全局连接。
1、环境说明
机器名 | IP地址 | 初始状态 | 操作系统 |
A | 192.168.174.134(外网) 192.168.158.134(内网) |
主库
GRP1_MPP_EP01
备库
GRP2_MPP_EP22
|
CentOS-7-x86_64-DVD-2009 |
B | 192.168.174.135(外网) 192.168.158.135(内网) |
主库
GRP2_MPP_EP02
备库
GRP1_MPP_EP11
|
CentOS-7-x86_64-DVD-2009 |
C | 192.168.174.136(外网) |
监视器
|
CentOS-7-x86_64-DVD-2009 |
2、初始化实例、注册服务
分别在A、B机器上创建两个实例EP01、EP02
./dminit path=/dm8/data/EP01
./dminit path=/dm8/data/EP02
./dminit path=/dm8/data/EP01
./dminit path=/dm8/data/EP02
注:此为命令行默认初始化实例,初始化实例和注册服务都有命令行和图形化两种选择。
注册服务
下面注册服务采用图形化的方式示范。
先切换至dm数据库的tool目录下。
cd /dm8/tool
启动dbca工具,选择注册数据库服务。
./dbca.sh
单击【开始】,弹出注册数据库服务页面,此处实例名修改为GRPx_MPP_EP0 x的形式。
3、前后台正常关闭数据库
后台关闭数据库
root用户下,执行如下命令:
systemctl stop DmServiceDMSERVER.service
前台启动数据库:
切换至dmdba用户的/dm8/bin目录下执行如下命令:
./dmserver /dm8/data/EP01/DAMENG/dm.ini
./dmserver /dm8/data/EP02/DAMENG/dm.ini
A 、B机器的实例最好都前台启动一次,然后前台关闭:Ctrl+C。
4、数据备份
注:数据备份在A、B机器的dmdba用户下执行,以免出错。
以A机器的主库备份为例,主库数据备份:
./dmrman
backup database '/dm8/data/EP01/DAMENG/dm.ini' full backupset '/dm8/fullbak1';
B机器上的备库拷贝文件
[dmdba@localhost ~]$ scp -r 192.168.174.134:/dm8/fullbak /dm8/
B机器上的备库进行脱机数据库还原与恢复
./dmrman
restore database '/dm8/data/EP01/DAMENG/dm.ini' from backupset '/dm8/fullbak1';
recover database '/dm8/data/EP01/DAMENG/dm.ini' from backupset '/dm8/fullbak1';
recover database '/dm8/data/EP01/DAMENG/dm.ini' update db_magic;
同理在B机器的主库上进行数据备份,然后在A机器的备库上还原数据。
5、配置主库 GRP1_MPP_EP01
5.1 配置dm.ini
INSTANCE_NAME = GRP1_MPP_EP01
PORT_NUM = 5236 #数据库实例监听端口
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
MPP_INI = 1 #启用 MPP 配置
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志发送信息
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
5.2 配置dmmal.ini
配置 MAL 系统,各主备库的 dmmal.ini 配置必须完全一致,MAL_HOST 使用内部网络 IP,MAL_PORT 与 dm.ini 中 PORT_NUM 使用不同的端口值,MAL_DW_PORT 是各实例对应的守护进程之间,以及守护进程和监视器之间的通信端口,配置如下:
MAL_CHECK_INTERVAL = 5 #MAL链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 #判定MAL链路断开的时间
[MAL_INST1] #节点1-主
MAL_INST_NAME = GRP1_MPP_EP01 #实例名,和dm.ini中的INSTANCE_NAME一致
MAL_HOST = 192.168.158.134 #MAL系统监听TCP连接的IP地址
MAL_PORT = 5337 #MAL系统监听TCP连接的端口
MAL_INST_HOST = 192.168.174.134 #实例的对外服务IP地址
MAL_INST_PORT = 5236 #实例的对外服务端口,和dm.ini中的PORT_NUM一致
MAL_DW_PORT = 5253 #实例对应的守护进程监听TCP连接的端口
MAL_INST_DW_PORT = 5243 #实例监听守护进程TCP连接的端口
[MAL_INST2] #节点2-主
MAL_INST_NAME = GRP2_MPP_EP02
MAL_HOST = 192.168.158.135
MAL_PORT = 5337
MAL_INST_HOST = 192.168.174.135
MAL_INST_PORT = 5236
MAL_DW_PORT = 5253
MAL_INST_DW_PORT = 5243
[MAL_INST3] #节点1-备
MAL_INST_NAME = GRP1_MPP_EP11
MAL_HOST = 192.168.158.135
MAL_PORT = 5338
MAL_INST_HOST = 192.168.174.135
MAL_INST_PORT = 5237
MAL_DW_PORT = 5254
MAL_INST_DW_PORT = 5244
[MAL_INST4] #节点2-备
MAL_INST_NAME = GRP2_MPP_EP22
MAL_HOST = 192.168.158.134
MAL_PORT = 5338
MAL_INST_HOST = 192.168.174.134
MAL_INST_PORT = 5237
MAL_DW_PORT = 5254
MAL_INST_DW_PORT = 5244
5.3 配置dmarch.ini
修改 dmarch.ini,配置实时归档。
[ARCHIVE_REALTIME1]
ARCH_TYPE = REALTIME #实时归档类型
ARCH_DEST = GRP1_MPP_EP11 #实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dm8/data/EP01/DAMENG/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表示无限制,范围 1024~4294967294M
5.4 配置dmmpp.ini
配置项
|
配置含义 |
[SERVICE_NAME]
|
标识每个实例的选项名
|
MPP_SEQ_NO
|
实例在
MPP
系统内的序号
|
MPP_INST_NAME
|
节点实例名
|
[service_name1]
mpp_seq_no = 0
mpp_inst_name = GRP1_MPP_EP01
[service_name2]
mpp_seq_no = 1
mpp_inst_name = GRP2_MPP_EP02
./dmctlcvt TYPE=2 SRC=/dm8/data/EP01/DAMENG/dmmpp.ini DEST=/dm8/data/EP01/DAMENG/dmmpp.ctl
5.5 mount方式启动主库
./dmserver /dm8/data/EP01/DAMENG/dm.ini mount
5.6 设置OGUID
./disql SYSDBA/SYSDBA@192.168.174.134:5236#"{mpp_type=local}"
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
sp_set_oguid(45330);
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
注意:系统通过 OGUID 值确定一个守护进程组,由用户保证 OGUID 值的唯一性,并确保数据守护系统中,数据库、守护进程和监视器配置相同的 OGUID 值。
5.7 修改数据库模式
alter database primary;
6、配置主库 GRP2_MPP_EP02
6.1 配置dm.ini
INSTANCE_NAME = GRP2_MPP_EP02
PORT_NUM = 5236 #数据库实例监听端口
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
MPP_INI = 1 #启用 MPP 配置
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志发送信息
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
6.2 配置dmmal.ini
scp -r 192.168.174.134:/dm8/data/EP01/DAMENG/dmmal.ini /dm8/data/EP02/DAMENG
6.3 配置dmarch.ini
[ARCHIVE_REALTIME1]
ARCH_TYPE = REALTIME #实时归档类型
ARCH_DEST = GRP2_MPP_EP22 #实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dm8/data/EP02/DAMENG/arch#本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表示无限制,范围 1024~4294967294M
6.4 配置dmmpp.ini
scp -r 192.168.174.134:/dm8/data/EP01/DAMENG/dmmpp.ini /dm8/data/EP02/DAMENG
6.5 mount方式启动主库
./dmserver /dm8/data/EP02/DAMENG/dm.ini mount
6.6 设置OGUID
disql登录命令为:
./disql SYSDBA/SYSDBA@192.168.174.135:5236#"{mpp_type=local}"
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
sp_set_oguid(45331);
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
6.7 修改数据库模式
alter database primary;
7、配置备库 GRP1_MPP_EP11
7.1 配置dm.ini
INSTANCE_NAME = GRP1_MPP_EP11
PORT_NUM = 5237 #数据库实例监听端口
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
MPP_INI = 1 #启用 MPP 配置
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志发送信息
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
7.2 配置dmmal.ini
scp -r 192.168.174.134:/dm8/data/EP01/DAMENG/dmmal.ini /dm8/data/EP01/DAMENG
7.3 配置dmarch.ini
[ARCHIVE_REALTIME1]
ARCH_TYPE = REALTIME #实时归档类型
ARCH_DEST = GRP1_MPP_EP01 #实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dm8/data/EP01/DAMENG/arch#本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表示无限制,范围 1024~4294967294M
7.4 配置dmmpp.ini
scp -r 192.168.174.134:/dm8/data/EP01/DAMENG/dmmpp.ini /dm8/data/EP01/DAMENG
7.5 mount方式启动备库
./dmserver /dm8/data/EP01/DAMENG/dm.ini mount
7.6 设置OGUID
disql登录命令为:
./disql SYSDBA/SYSDBA@192.168.174.135:5237#"{mpp_type=local}"
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
sp_set_oguid(45330);
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
7.7 修改数据库模式
alter database standby;
8、配置备库 GRP2_MPP_EP22
8.1 配置dm.ini
INSTANCE_NAME = GRP2_MPP_EP22
PORT_NUM = 5237 #数据库实例监听端口
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
MPP_INI = 1 #启用 MPP 配置
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志发送信息
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
8.2 配置dmmal.ini
scp -r 192.168.174.134:/dm8/data/EP01/DAMENG/dmmal.ini /dm8/data/EP02/DAMENG
8.3 配置dmarch.ini
[ARCHIVE_REALTIME1]
ARCH_TYPE = REALTIME #实时归档类型
ARCH_DEST = GRP2_MPP_EP02 #实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dm8/data/EP02/DAMENG/arch#本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表示无限制,范围 1024~4294967294M
8.4 配置dmmpp.ini
scp -r 192.168.174.134:/dm8/data/EP01/DAMENG/dmmpp.ini /dm8/data/EP02/DAMENG
8.5 mount方式启动备库
./dmserver /dm8/data/EP02/DAMENG/dm.ini mount
8.6 设置OGUID
disql登录命令为:
./disql SYSDBA/SYSDBA@192.168.174.134:5237#"{mpp_type=local}"
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
sp_set_oguid(45331);
SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
8.7 修改数据库模式
alter database standby;
9、配置dmwatcher.ini
vi /dm8/data/EP01/DAMENG/dmwatcher.ini
[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 45330 #守护系统唯一 OGUID 值
INST_INI = /dm8/data/EP01/DAMENG/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /dm8/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
[GRP2]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 45331 #守护系统唯一 OGUID 值
INST_INI = /dm8/data/EP02/DAMENG/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /dm8/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
vi /dm8/data/EP02/DAMENG/dmwatcher.ini
[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 45330 #守护系统唯一 OGUID 值
INST_INI = /dm8/data/EP01/DAMENG/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /dm8/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
[GRP2]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 45331 #守护系统唯一 OGUID 值
INST_INI = /dm8/data/EP02/DAMENG/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /dm8/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
10、配置监视器
vi /dm8/data/dmmonitor.ini
MON_DW_CONFIRM = 1 #确认监视器模式
MON_LOG_PATH = /dm8/data/log #监视器日志文件存放路径
MON_LOG_INTERVAL = 60 #每隔 60s 定时记录系统信息到日志文件
MON_LOG_FILE_SIZE = 32 #每个日志文件最大 32M
MON_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间
[GRP1]
MON_INST_OGUID = 45330 #组 GRP1 的唯一 OGUID 值 #以下配置为监视器到组 GRP1 的守护进程的连接信息,以―IP:PORT‖的形式配置
#IP 对应 dmmal.ini 中的 MAL_HOST,PORT 对应 dmmal.ini 中的 MAL_DW_PORT
MON_DW_IP = 192.168.158.134:5253
MON_DW_IP = 192.168.158.135:5254
[GRP2]
MON_INST_OGUID = 45331 #组 GRP2 的唯一 OGUID 值 #以下配置为监视器到组 GRP2 的守护进程的连接信息,以―IP:PORT‖的形式配置
#IP 对应 dmmal.ini 中的 MAL_HOST,PORT 对应 dmmal.ini 中的 MAL_DW_PORT
MON_DW_IP = 192.168.158.135:5253
MON_DW_IP = 192.168.158.134:5254
11、启动守护进程
./dmwatcher /dm8/data/EP01/DAMENG/dmwatcher.ini
12、启动监视器
./dmmonitor /dm8/data/dmmonitor.ini