keepalived 可以使实现HA 当一个节点挂掉的时候 他可以切换到另一台 次优先级的节点 yum install keepalived 主要是通过配置文件起作用 可配置虚拟的网络地址 软件功能和 之前做的 kapcitor的脚本一个道理
hadoop 集群的搭建 基于java的环境下 配置ssh 修改 hadoop-env.sh core_site.xml hdfs-site.xml slaves
然后格式化 hdfs namenode -format sbin/start-dfs.sh
格式化vi文本 ctrl+v !xmllint -format -
基础概念 namenode 存贮元数据 元数据文件分多少块 分块路径 每个块的偏移量 块大小 大小 名称 等属性信息
元数据信息 有保存在内存中应付高并发 速度快 磁盘中会存在namenode 的镜像文件 正在操作的 会以log文件的形式不断追加
合并log 和镜像文件 就是最新的namenode的状态 更新的顺序edits.log-----内存-----fsimage namenode 是读写分离的形式
https://blog.csdn.net/lb812913059/article/details/79717627
hdfs操作
hdfs dfs -put ~/hello.txt /
hdfs dfs -D dfs.blocksize=1048576 -D dfs.replication=1 -put ~/hello.txt /
