bash shell文本操作：我可以从URL中提取域，如何将其扩展为也排除“ .com”或“ .co.uk”等

编程问答 2022-06-12

问题描述

“从URL获取域”是此站点上的一个常见问题，我很久以来一直使用的答案就是该问题：

How to extract domain name from url?

最受欢迎的答案来自用户“ sakumatto”的评论，该用户也处理子域，就是这样：

echo http://www.test.example.com:3030/index.PHP | sed -e "s/[^/]*\/\/\([^@]*@\)\?\([^:/]*\).*/\2/" | awk -F. '{print $(NF-1) "." $NF}'

我将如何进一步扩展此命令以排除“ .com”或“ .co.uk”等？

洞察力：

我正在编写bash脚本，以实现Termux（适用于Android的终端仿真器）具有的一项惊人功能，即“ termux-url-opener”，该功能允许编写一个脚本，该脚本在您使用本机Android“ share”功能时启动，假设我在浏览器中，github希望我登录，按“ share”，然后选择“ Termux”，Termux打开并运行脚本，将密码回显到我的剪贴板并关闭，现在我会自动返回浏览器已准备好粘贴我的密码！ 它非常简单，使用pass（扩展名为pass-clip，gnupg和pinentry的{​​{1}}（密码存储库），到目前为止，这是我到目前为止可以正常使用的方法，但目前它很笨（它需要我继续为pass中的每个密码编写if / elif语句，因此我想使事情自动化，我只需要切掉“ .com”或“ .co.uk”等。

到目前为止，这是我的脚本：

#!/data/data/com.termux/files/usr/bin/bash

URL="$1"
WEBSITE=$(echo "$URL" | sed -e "s/[^/]*\/\/\([^@]*@\)\?\([^:/]*\).*/\2/" | awk -F. '{print $(NF-1) "."  $NF}')

if [[ $WEBSITE =~ "github" ]]; then
# website contains "github"
  pass -c github
elif [[ $WEBSITE =~ "codeberg" ]]; then
# website contains "codeberg"
  pass -c codeberg
else
# is another app or website,so list all passwords entries.
  pass clip --fzf
fi

由于我的pass密码只是网站名称，例如“ github”或“ codeberg”，如果我可以从头开始剪下“ .com”或“ .co.uk”，那么我可以添加以下内容：

PASSWORDS=$(pass ls)

现在，我可以检查pass ls中是否列出了“ $ 1”（我的共享URL），这样就不必写了：

elif [[ $WEBSITE =~ "codeberg" ]]; then

对于pass中的每个条目。

谢谢！非常感谢！

解决方法

我可能丢失了一些内容，但是为什么不从主机名中删除有问题的TLD？

如：

sed \
    -e "s|[^/]*//\([^@]*@\)\?\([^:/]*\).*|\2|" \
    -e 's|\.$||' \
    -e 's|\.com$||' \
    -e 's|\.co\.[a-zA-Z]*$||' \
    -e 's|.*\.\([^.]*\.[^.]*\)|\1|'
  • "s|[^/]*//\([^@]*@\)\?\([^:/]*\).*|\2|"-这是您原始的正则表达式，但是使用|作为分隔符而不是/（使引用减少）
  • 's|\.$||'-删除任何意外的结尾点（example.com.是有效的主机名！）
  • 's|\.com$||'-删除尾随.com
  • 's|\.co\.[a-zA-Z]*$||'-删除结尾的.co.uk，.co.nl，...
  • 's|.*\.\([^.]*\.[^.]*\)|\1|'-从主机名中删除除最后两个外的所有组件（基本上是您的awk-脚本）
,

我建议您解决一个非常简单的修改，例如以下grep命令添加：

WEBSITE=$(echo $1 | grep -vE ".com|.uk" | sed -e "s/[^/]*\/\/\([^@]*@\)\?\([^:/]*\).*/\2/" | awk -F. '{print $(NF-1) "."  $NF}')
test -z $WEBSITE && exit 1 # if empty (.com or .uk generates an empty variable)

$ cat > toto

WEBSITE=$(echo $1 | grep -vE ".com|.uk" | sed -e "s/[^/]*\/\/\([^@]*@\)\?\([^:/]*\).*/\2/" | awk -F. '{print $(NF-1) "."  $NF}')
test -z $WEBSITE && exit 1
echo $WEBSITE

举个例子：

$ bash toto http://www.google.fr
google.fr
$ bash toto http://www.google.com
$ bash toto http://www.google.uk
$ bash toto http://www.google.gertrude
google.gertrude
$ rm toto
$

在我的示例中，我使用了.uk，因此不要仅复制/粘贴该行。

,

如何完全在bash中进行操作：

if [[ $WEBSITE =~ ^(.*)([.]co)[.][a-z]+$ || $WEBSITE =~ ^(.*)[.][a-z]+$ ]]
then
  pass=${BASH_REMATCH[1]}
else
  echo WARNING: Unexpected value for WEBSITE: $WEBSITE
  pass=$WEBSITE # Fallback
fi

我使用了两个子句（对于.co情况和其他情况），因为bash regexp无法理解非贪婪匹配（即.*?）。