我的清除脚本需要很长时间才能删除 hdfs 中超过 1 天的 tmp/日志文件

问题描述

我正在尝试删除 hdfs 中的 tmp/log 文件，因为它们占用了太多空间。我正在使用下面的 shell 脚本来清除日志，但它每小时删除 40-50 个文件，这非常慢。有什么我可以修改以提高其速度的吗？

#!/bin/bash
current_date=$(date +'%y-%m-%d')
retention_date=$(date -d "$current_date 1 day ago" '+%Y-%m-%d')
echo "current_date:$current_date"
echo "retention_date:$retention_date"
sum=0
total_size=0
hdfs dfs -ls /tmp/logs/ | while read line ; do
username=$(echo ${line} | awk '{ print $3 }')
#echo "username:$username"
if [ "$username" = "XYZ" ]; then
        created_date=$(echo ${line} | awk '{ print $6 }')
        echo"createddate:$created_date"
        size=$(echo ${line} | awk '{ print $5 }')
        filename=$(echo ${line} | awk '{ print $8 }')
        if [[ "$retention_date" > "$created_date" ]]; then
                #echo"inside if"
                sum=$((sum + 1))
                #echo "sum:$sum"
                total_size=$((total_size + size))
                hdfs dfs -rm -r $filename
        fi
fi
done
hdfs dfs -rm -r /user/ABC_USER/.Trash/Current/tmp/logs/
echo "Total Folders qualified: $sum"
#echo "Total size: $total_size"

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

hdfs purge shell