为什么行终止符`\r\n` 导致组不匹配？

编程问答 2022-05-19

问题描述

我正在使用 Perl v5.30 在 Linux 上处理带有 Windows 行终止符 (\r\n) 的文本文件。

我不明白为什么使用这些文本文件时，捕获组与字符不匹配，而正则表达式匹配。

示例：

$ echo $'Line1\r\nLine2\n' | perl -ne 'print /(.*)/'
Line2

$ echo $'Line1\r\nLine2\n' | perl -ne '/(.*)/ && print "match\n"'
match
match
match

第一行没有任何内容被捕获，但所有（三）行都匹配。

为什么会这样？

解决方法

使用 cat -v 或 xxd 查看输出真正包含的内容。

$ echo $'Line1\r\nLine2\n' | perl -ne 'print /(.*)/' | cat -v
Line1^MLine2

^M 对应于 \r，它将光标移回行首，因此第二个匹配会覆盖第一个。

这解释了两个匹配项，但第三个匹配项在哪里？添加一些东西来分隔匹配：

 $ echo $'Line1\r\nLine2\n' | perl -ne 'print /(.*)/,"|"' | cat -v
Line1^M|Line2||

echo 在它的输出中添加一个换行符，所以最后一行是空的，但它仍然匹配 .*。

,

不过是

$ echo $'Line1\r\nLine2\n' | perl -ne 'print /(.*)/' | od -c
0000000   L   i   n   e   1  \r   L   i   n   e   2
0000013

问题是您的终端在接收到 CR 时正在归位光标，因此 Line2 最终覆盖了 Line1。

,

其他人已经向您展示了为什么输出隐藏了您希望看到的内容。但是，对于最初的问题，我会考虑处理这些行尾，这样您就不必考虑它们了。您似乎混合了行尾，所以我的第一个想法是找到有问题的程序并修复其输出:)

如果不需要，从组中排除垂直空格 (\v)，并选择您自己的输出行结尾（此处为 -l）：

$ echo $'Line1\r\nLine2\n' | perl -nle 'print /([^\v]+)/'
Line1
Line2

或者修改输入字符串得到你想要的：

$ echo $'Line1\r\nLine2\n' | perl -nle 'print s/\R//r'
Line1
Line2

也许预处理该行：

$ echo $'Line1\r\nLine2\n' | perl -nle 's/\R// and print /(.*)/'
Line1
Line2

或者其他的东西，所以没有什么可以解决的。

,

我无法确定您的问题是否已得到解答，但值得注意的是，在输入时，perl 会将 \r\n 转换为 \n，然后，如果输出是 Widows，它会输出相反。

底线，如果你试图匹配\r\n，你很可能会失败——此外，如果你读取，例如，包含\r\n的10个字节，然后在perl中检查输入的长度，它将只有 9 个字节，因为 \r 将消失。

本质上，这允许脚本跨多个平台工作，而无需将 \n 的引用更新为 \r\n，反之亦然 iyswim。

例如，在 windows 上，以下脚本将返回 6、5：

while(<DATA>){
  print length . "\n";
}

__DATA__
hello
world

但是，如果我添加“binmode DATA;”，我将得到 7、5

请注意，这是 iirc 特定于平台的。例如如果你以bin方式将windows文本文件传输到linux，在linux中读取文件时，“\r\n”不会被翻译成“\n”。

capturing-groupline-endingsperl