flume服务修改配置文件重启脚本

2021年9月8日
需求:将不同日期的数据放在kafka对应日期的topic中

办法:将flume服务在0点时候停止,将文件.conf中配置的topic改成对应日期的topic,然后重启flume服务

shell脚本:
source /etc/profile
#! /bin/bash

    for i in slave2
    do
            ssh $i "/root/bin/flume2.sh"
            echo " --------停止 $i flume-------"
            ssh $i "ps -ef | grep file-flume-kafka | grep -v grep |awk '{print \$2}' | xargs -n1 kill"
            sleep 2
            echo "---------修改topic----------"
            h="ims"
            echo "$h"
            o=`date +%Y%m%d -d '-1 day'`
            echo "$o"
            n=`date +%Y%m%d`
            echo "$n"
            sed -i "s/$o/$n/g" /opt/flume/conf/file-flume-kafka.conf
            echo " --------启动 $i flume-------"
            ssh  $i `nohup /opt/flume/bin/flume-ng agent --conf-file /opt/flume/conf/file-flume-kafka.conf --name agent -Dflume.root.logger=INFO,LOGFILE >/opt/flume/log2.txt   2>&1 &`
    done

脚本用命令行执行时,可以实现,但用crontab定时任务服务只能停止和修改日期但重启不起来。
#!/bin/bash 前加source之后就解决了。但不知道什么原因…

相关文章

# 前言 现有主流消息中间件都是生产者-消费者模型,主要角色...
错误的根源是:kafka版本过高所致,2.2+=的版本,已经不需要...
DWS层主要是存放大宽表数据,此业务中主要是针对Kafka topic...
不多BB讲原理,只教你怎么用,看了全网没有比我更详细的了,...
终于写完了,其实最开始学kafka的时候是今年2月份,那时候还...
使用GPKafka实现Kafka数据导入Greenplum数据库踩坑问题记录(...