本文介绍使用shell命令，批量去除utf8文件中bom头的方法。utf8的bom头由\xEF,\xBB,\xBF组成，带bom的文件在使用过程中，某些软件打开会出现乱码等异常，而要把文件重新另存为utf8无bom比较麻烦，因此直接使用shell命令实现比较方便。
1.去除utf8文件中bom头
首先创建一个utf8带bom头的文件，随便插入些内容，例如test.txt
使用命令xxd查看此文件的16进制编码
xxd test.txt
00000000: efbb bfe6 b58b e8af 95e6 9687 e4bb b60a ................
可以看到头三个字节的16进制为 \xEF \xBB \xBF
我们可以使用shell的sed命令实现utf8 bom头去除
sed -i 's/^\xEF\xBB\xBF//g' test.txt
上面命令表示，把\xEF\xBB\xBF开头的字符替换为空。
执行完成后再使用xxd命令查看文件16进制编码
xxd test.txt
00000000: e6b5 8be8 af95 e696 87e4 bbb6 0a .............
可以看到utf8 bom头被去除。
2.批量去除文件夹中utf8文件中的bom头
我们可以使用grep来查看哪些文件存在bom头，然后对这些文件执行替换。
grep -r -i -l $'^\xEF\xBB\xBF' . | xargs sed -i 's/^\xEF\xBB\xBF//g'
-r 在当前目录及其子目录下搜索
-i 忽略大小写的不同，所以大小写视为相同
-l 查询多文件时只输出包含匹配字符的文件名
如果不需要递归多层目录，只处理当前目录
grep -i -l $'^\xEF\xBB\xBF' * | xargs sed -i 's/^\xEF\xBB\xBF//g'
注意：mac中的sed命令有些不同，因此建议安装gnu-sed来处理
安装gnu-sed
brew install gnu-sed
设置默认路径
export PATH中加入/usr/local/opt/gnu-sed/libexec/gnubin:
