删除具有长TLD顶级域的行

问题描述

是否有更有效的方法来删除无效/太长的tld（顶级域）行？我对sed / awk效率不高。我想在最后一个时间段之后从文件中删除超过24个字符的行。

我写的东西行得通，但是在长列表上速度非常慢。它需要每一行，计算句点后的字符数，将超过24个字符的行保存到列表中，然后从源中删除它们。

样本输入：

test.sub.xn--vermgensberatung-pwb
test.sub.xn--vermgensberatung-pwba

预期输出：

test.sub.xn--vermgensberatung-pwb

我当前的代码：

Source='/tmp/source'

while read -r Line || [[ -n "$Line" ]]; do
count="$(echo "$Line" | awk -F. '{ print $NF }' | awk '{ print length }')" #Count length after period
if [[ "$count" -gt '24' ]]; then echo "$Line" >> /tmp/filter; fi           #Save long TLD lines
done < "$Source"

#Remove results from source
cat /tmp/filter | sort > /tmp/filter.clean
comm -23 "$Source" /tmp/filter.clean > /tmp/clean

解决方法

我想您使脚本过于复杂了

$ cat file
www.cnn.com
this.is.notrightbutstillpass
this.will.fail.since.01234567890123456789012345

不确定实际的TLD限制，但您可以轻松更改代码

$ awk -F. 'length($NF)<24' file
www.cnn.com
this.is.notrightbutstillpass

,

听起来您正在寻找：

$ grep -Ev '\.[^.]{25,}$' file
test.sub.xn--vermgensberatung-pwb

要在不手动创建临时文件的情况下更新原始文件，可以使用GNU sed代替grep：

sed -Ei '/\.[^.]{25,}$/d' file