Rancher1，Rancher 2.x 生产环境HA高可用部署K8S

Rancher官方中文文档：https://www.rancher.cn/docs/rancher/v2.x/cn/overview/

Rancher（1），Rancher 2.x 生产环境HA（高可用）部署K8S

本次实验，为Ranche七层负载均衡Helm HA部署

一、环境准备

1、服务器配置

服务器使用腾讯云的虚拟机具体配置如下：

主机名称	系统版本	内网ip	公网ip	配置
master1	CentOS 7.6	172.27.100.101	xxx	4C 16G
master2	CentOS 7.6	172.27.100.101	xxx	4C 16G
master3	CentOS 7.6	172.27.100.101	xxx	4C 16G

因使用7层负载均衡，需要一个LB，这里使用腾讯云的云负载均衡（实验环境可以使用Nginx）

（1）配置每台主机的hosts(/etc/hosts),添加host_ip $hostname到/etc/hosts文件中。

（2）关闭selinux：

sudo sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

（3）测试环境关闭防火墙或者开启相应端口，参考https://www.rancher.cn/docs/rancher/v2.x/cn/install-prepare/references/

填坑备注：这里我的内网是全部开了的，然而部署的时候有报错，需要开放对应端口让服务器的公网ip可以访问~（居然不走内网ip，不知道是什么情况~）

2、Docker安装及配置

正常安装Docker，唯一注意的地方是：因为CentOS的安全限制，通过RKE安装K8S集群时候无法使用root账户。CentOS用户使用非root用户来运docker。

（1）配置安装源

yum install ca-certificates ;
update-ca-trust;

cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo-bak
cat << 'EOF' > /etc/yum.repos.d/CentOS-Base.repo
# CentOS-Base.repo
#
# The mirror system uses the connecting IP address of the client and the
# update status of each mirror to pick mirrors that are updated to and
# geographically close to the client.  You should use this for CentOS updates
# unless you are manually picking other mirrors.
#
# If the mirrorlist= does not work for you, as a fall back you can try the 
# remarked out baseurl= line instead.
#
#

[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/os/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#released updates
[updates]
name=CentOS-$releasever - Updates - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/updates/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/extras/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/centosplus/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#contrib - packages by Centos Users
[contrib]
name=CentOS-$releasever - Contrib - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/contrib/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/contrib/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/contrib/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

EOF

（2）安装Docker

# 定义用户名
NEW_USER=rancher
# 添加用户(可选)
sudo adduser $NEW_USER
# 为新用户设置密码
sudo passwd $NEW_USER
# 为新用户添加sudo权限
sudo echo "$NEW_USER ALL=(ALL) ALL" >> /etc/sudoers
# 卸载旧版本Docker软件
sudo yum remove docker \
              docker-client \
              docker-client-latest \
              docker-common \
              docker-latest \
              docker-latest-logrotate \
              docker-logrotate \
              docker-selinux \
              docker-engine-selinux \
              docker-engine \
              container*
# 定义安装版本
export docker_version=19.03.1
# step 1: 安装必要的一些系统工具
sudo yum update -y;
sudo yum install -y yum-utils device-mapper-persistent-data \
    lvm2 bash-completion;
# Step 2: 添加软件源信息
sudo yum-config-manager --add-repo \
    http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo;
# Step 3: 更新并安装 Docker-CE
sudo yum makecache all;
version=$(yum list docker-ce.x86_64 --showduplicates | sort -r|grep ${docker_version}|awk '{print $2}');
sudo yum -y install --setopt=obsoletes=0 docker-ce-${version} docker-ce-selinux-${version};
# 如果已经安装高版本Docker,可进行降级安装(可选)
yum downgrade --setopt=obsoletes=0 -y docker-ce-${version} docker-ce-selinux-${version};
# 把当前用户加入docker组
sudo usermod -aG docker $NEW_USER;
# 设置开机启动
sudo systemctl enable docker;

（3）修改Docker配置

daemon.json默认位于/etc/docker/daemon.json，如果没有可手动创建，基于systemd管理的系统都是相同的路径。通过修改daemon.json来改过Docker配置，也是Docker官方推荐的方法。

1、配置私有仓库
Docker默认只信任TLS加密的仓库地址(https)，所有非https仓库默认无法登陆也无法拉取镜像。insecure-registries字面意思为不安全的仓库，通过添加这个参数对非https仓库进行授信。可以设置多个insecure-registries地址，以数组形式书写，地址不能添加协议头(http)。
{
"insecure-registries": ["harbor.xxx.cn:30002"]
}

2、配置存储驱动
OverlayFS是一个新一代的联合文件系统，类似于AUFS，但速度更快，实现更简单。Docker为OverlayFS提供了两个存储驱动程序:旧版的overlay，新版的overlay2(更稳定)。

先决条件:

overlay2: Linux内核版本4.0或更高版本，或使用内核版本3.10.0-514+的RHEL或CentOS。
overlay: 主机Linux内核版本3.18+
支持的磁盘文件系统
ext4(仅限RHEL 7.1)
xfs(RHEL7.2及更高版本)，需要启用d_type=true。

{
"storage-driver": "overlay2",
"storage-opts": ["overlay2.override_kernel_check=true"]
}

3、配置日志驱动
容器在运行时会产生大量日志文件，很容易占满磁盘空间。通过配置日志驱动来限制文件大小与文件的数量。 >限制单个日志文件为50M,最多产生3个日志文件
{
"log-driver": "json-file",
"log-opts": {
"max-size": "50m",
"max-file": "3"
}
}

最终配置文件如下：

{
"insecure-registries": ["harbor.xxx.cn:30002"]，
"storage-driver": "overlay2",
"storage-opts": ["overlay2.override_kernel_check=true"]，
"log-driver": "json-file",
"log-opts": {
    "max-size": "50m",
    "max-file": "3"
    }
}

3、安装RKE

Rancher Kubernetes Engine(RKE)是一款轻量级Kubernetes安装程序，支持在裸机和虚拟化服务器上安装Kubernetes。 RKE解决了Kubernettes社区中的一个常见问题，比如:安装复杂性。RKE支持多种平台运行，比如MacOS,linux,windows。
这里在master1上安装rke：

1、下载二进制文件
https://www.rancher.cn/docs/rancher/v2.x/cn/install-prepare/download/rke/

2、运行一下命令测试：

chmod +x rke_linux-amd64
./rke_linux-amd64 --version

4、安装kubectl

kubectl是一个CLI命令行工具，用于运行Kubernetes集群的命令。Rancher 2.x中的许多维护和管理都需要它。
这里在master1上安装kubectl:

1、下载二进制文件
https://www.rancher.cn/docs/rancher/v2.x/cn/install-prepare/download/kubernetes/

2、确保kubectl二进制文件是可执行文件。

chmod +x ./kubectl

3、将kubectl二进制文件移动到PATH路径下。

sudo mv ./kubectl /usr/local/bin/kubectl

4、配置kubectl
使用RKE创建Kubernetes集群时，RKE会在本地目录中创建一个包含认证信息的配置文件kube_config_rancher-cluster.yml，以使用kubectl或helm等工具连接到新集群。

可以将此文件复制到$HOME/.kube/config


cp kube_config_rancher-cluster.yml ~/.kube/config
export KUBECONfig=$(pwd)/kube_config_rancher-cluster.yml

4、配置kubectl的shell补全

CentOS Linux上，您可能需要安装默认情况下未安装的bash-completion软件包。

yum install bash-completion -y

运行source <(kubectl completion bash)可将kubectl自动补全添加到当前shell，要使kubectl自动补全命令自动加载:

echo "source <(kubectl completion bash)" >> ~/.bashrc

二、安装

1、配置负载均衡器

使用腾讯***云负载均衡，导入域名ssl证书（此处的域名须有后面配置访问域名一致，我使用的是免费一年的ssl证书♪(^∇^)），把10443端口绑定到master1，master2，master3的80端口即可~
备注：需要开通对应的安全规则，即负载均衡的ip能访问master1、2、3的80端口

Rancher（1），Rancher 2.x 生产环境HA（高可用）部署K8S

2、RKE安装K8S

（1）在master1上创建rke安装文件rancher-cluster.yml

#vim rancher-cluster.yml

nodes:
  - address: xxx.xxx.xxx.xxx
    internal_address: 172.27.100.101
    user: rancher
    role: [controlplane,worker,etcd]
    hostname_override: master1
  - address: xxx.xxx.xxx.xxx
    internal_address: 172.27.100.102
    user: rancher
    role: [controlplane,worker,etcd]
    hostname_override: master2
  - address: xxx.xxx.xxx.xxx
    internal_address: 172.27.100.103
    user: rancher
    role: [controlplane,worker,etcd]
    hostname_override: master3

services:
  etcd:
    backup_config:
        enabled: true
        interval_hours: 6
        retention: 60

备注：
address 公共域名或IP地址
user 可以运行docker命令的用户
role 分配给节点的Kubernetes角色列表
internal_address 内部集群通信的私有域名或IP地址
开启了etcd的备份机制，每隔6小时备份一次，保存60天数据

（2）创建K8S集群及测试

#rke up --config ./rancher-cluster.yml

完成后，会创建一个文件kube_config_rancher-cluster.yml。这个文件包含kubectl和helm访问K8S的凭据。可以将此文件复制到$HOME/.kube/config，或者如果您正在使用多个Kubernetes集群，请将KUBECONfig环境变量设置为kube_config_rancher-cluster.yml文件路径。

备注：保存好kube_config_rancher-cluster.yml和rancher-cluster.yml，之后的维护和升级需要用到！

export KUBECONfig=$(pwd)/kube_config_rancher-cluster.yml
cp kube_config_rancher-cluster.yml /root/.kube/config/

使用kubectl get nodes测试：

Rancher（1），Rancher 2.x 生产环境HA（高可用）部署K8S

3、安装和配置Helm

Helm是Kubernetes首选的包管理工具。Helmcharts为Kubernetes YAML清单文档提供模板语法。使用Helm，可以创建可配置的部署，而不仅仅是使用静态文件。Helm有两个部分：Helm客户端(helm)和Helm服务端(Tiller)。

（1）配置Helm客户端访问权限

master1上，在上一步生成的kube_config_rancher-cluster.yml文件的同级目录下运行：

kubectl --kubeconfig=kube_configxxx.yml -n kube-system create serviceaccount tiller
kubectl --kubeconfig=kube_configxxx.yml create clusterrolebinding tiller \
--clusterrole cluster-admin --serviceaccount=kube-system:tiller

备注：在kube-system命名空间中创建ServiceAccount；创建ClusterRoleBinding以授予tiller帐户对集群的访问权限；helm初始化tiller服务

（2）安装Helm客户端

1、下载helm：
https://www.rancher.cn/docs/rancher/v2.x/cn/install-prepare/download/helm/

2、解压缩及配置：

tar -zxvf helm-v2.x.x-linux-amd64.tgz
helm在解压后的目录中找到二进制文件，并将其移动到所需的位置
mv linux-amd64/helm /usr/local/bin/helm && chmod +x /usr/local/bin/helm

（3）安装Helm服务端（Tiller）

master1上，在上一步生成的kube_config_rancher-cluster.yml文件的同级目录下运行：

kubeconfig=xxx.yml

helm_version=`helm version |grep Client | awk -F""\" '{print $2}'`
helm init --kubeconfig=$kubeconfig \
--service-account tiller --skip-refresh \
--tiller-image registry.cn-shanghai.aliyuncs.com/rancher/tiller:$helm_version

备注：
1、RKE默认启用RBAC,所以在安装tiller时需要指定ServiceAccount。
2、helm init在缺省配置下，会去谷歌镜像仓库拉取gcr.io/kubernetes-helm/tiller镜像，在Kubernetes集群上安装配置Tiller；由于在国内可能无法访问gcr.io、storage.googleapis.com等域名，可以通过--tiller-image指定私有镜像仓库镜像。
3、helm init在缺省配置下，会利用https://kubernetes-charts.storage.googleapis.com作为缺省的stable repository地址,并去更新相关索引文件。在国内可能无法访问storage.googleapis.com地址, 可以通过--stable-repo-url指定chart国内加速镜像地址。
4、如果您是离线安装Tiller, 假如没有内部的chart仓库, 可通过添加--skip-refresh参数禁止Tiller更新索引。

4、Helm安装Rancher

（1）添加Chart仓库地址

helm repo add rancher-stable \
https://releases.rancher.com/server-charts/stable

（2）配置SSL并安装Rancher Server

SSL证书使用腾讯云提供的一年免费证书，自签名证书参考官网

export KUBECONfig=/home/rancher/kube_config_rancher-cluster.yml
helm --kubeconfig=$KUBECONfig install rancher-stable/rancher     --name rancher --namespace cattle-system     --set hostname=paas.yunjingtech.cn     --set tls=external

安装成功后，输入之前配置的域名即可~

Rancher（1），Rancher 2.x 生产环境HA（高可用）部署K8S

备注：
登陆后查看，system空间，若cattle-cluster-agent Pod和cattle-node-agent无法正常运行，需要为其添加主机别名：

export kubeconfig=xxx/xxx/xx.kubeconfig.yml

kubectl --kubeconfig=$kubeconfig -n cattle-system \
    patch deployments rancher --patch '{
        "spec": {
            "template": {
                "spec": {
                    "hostAliases": [
                        {
                            "hostnames":
                            [
                                "xxx.cnrancher.com"
                            ],
                                "ip": "xxxxxx"
                        }
                    ]
                }
            }
        }
    }'

export kubeconfig=xxx/xxx/xx.kubeconfig.yml

kubectl --kubeconfig=$kubeconfig -n cattle-system \
patch deployments cattle-cluster-agent --patch '{
    "spec": {
        "template": {
            "spec": {
                "hostAliases": [
                    {
                        "hostnames":
                        [
                            "demo.cnrancher.com"
                        ],
                            "ip": "xxxxxx"
                    }
                ]
            }
        }
    }
}'

export kubeconfig=xxx/xxx/xx.kubeconfig.yml

kubectl --kubeconfig=$kubeconfig -n cattle-system \
patch  daemonsets cattle-node-agent --patch '{
    "spec": {
        "template": {
            "spec": {
                "hostAliases": [
                    {
                        "hostnames":
                        [
                            "xxx.rancher.com"
                        ],
                            "ip": "xxxxxx"
                    }
                ]
            }
        }
    }
}'

rancher安装期间遇到的最大问题就是一些地方未配置安全组造成的！好在最后都解决了，之后会继续分享，rancher平台CICD的使用，部署持久性存储Ceph，部署Harbor、Gitlab、Nexus3等过程中遇到的问题及处理办法~~ (＾Ｕ＾)ノ~ＹＯ

Rancher1，Rancher 2.x 生产环境HA高可用部署K8S

一、环境准备

1、服务器配置

2、Docker安装及配置

（1） 配置安装源

（2） 安装Docker

（3） 修改Docker配置

3、安装RKE

4、安装kubectl

二、安装

1、配置负载均衡器

2、RKE安装K8S

（1） 在master1上创建rke安装文件rancher-cluster.yml

（2） 创建K8S集群及测试

3、安装和配置Helm

（1） 配置Helm客户端访问权限

（2） 安装Helm客户端

（3） 安装Helm服务端（Tiller）

4、Helm安装Rancher

（1） 添加Chart仓库地址

（2） 配置SSL并安装Rancher Server

相关文章

（1）配置安装源

（2）安装Docker

（3）修改Docker配置

（1）在master1上创建rke安装文件rancher-cluster.yml

（2）创建K8S集群及测试

（1）配置Helm客户端访问权限

（2）安装Helm客户端

（3）安装Helm服务端（Tiller）

（1）添加Chart仓库地址

（2）配置SSL并安装Rancher Server