如何根据某些条件使用shell脚本从文本文件中删除几行数据

编程问答 2022-05-10

问题描述

我有一个超过 10 万行的文本文件。下面提到的数据是我拥有的文本文件的示例。我想对这些数据使用一些条件并删除一些行。文本文件没有标题 (ID,NAME,Code-1,code,2-code-3)。我提过供参考。如何使用 shell 脚本实现这一点？

输入测试文件：

| ID | NAME | Code-1 | code-2 | code-3 | 
| $$ | 5HF | 1E | N | Y | 
| $$ | 2MU | 3C | N | Y | 
| $$ | 32E | 3C | N | N | 
| AB | 3CH | 3C | N | N | 
| MK | A1M | AS | P | N | 
| $$ | Y01 | 01 | F | Y | 
| $$ | BG0 | 0G | F | N |

条件：

  1. 如果 code-2 = 'N' 且 code-1 不等于 ( '3C','3B','32','31','3D' ) 然后 ID='$$'
  2. 如果 code-2 ='N' 且 code-1 等于 ( '3C','3D') 然后接受任何 ID 和 (accept ID='$$ ' 仅当 code-3='Y')'
  3. 如果 code-2 != 'N' 然后接受（ID='$$' 仅当 code-3='Y'）和所有其他 ID

输出：

| ID | NAME | Code-1 | code-2 | code-3 | 
| $$ | 5HF | 1E | N | Y | 
| $$ | 2MU | 3C | N | Y | 
| AB | 3CH | 3C | N | N | 
| MK | A1M | AS | P | N | 
| $$ | Y01 | 01 | F | Y |

解决方法

我们鼓励您在提问时展示自己的努力。但我确实理解，如果您不熟悉 Bash，这个问题可能会很复杂。这是我使用 awk 的解决方案。在我的电脑上用了 0.545s 处理了 137k 行（中等规格）。

awk '{
ID=$2; NAME=$4; CODE1=$6; CODE2=$8; CODE3=$10;
if (CODE2 == "N") {
  if (CODE1 ~ /(3C|3B|32|31|3D)/) {
    if (ID == "$$") {
      if (CODE3 == "Y") {
        print;
      }
    }
    else {
      print;
    }
  }
  else {
    if (ID == "$$") {
      print;
    }
  }
}
else {
  if (ID == "$$") {
    if (CODE3 == "Y") {
      print;
    }
  }
  else {
    print;
  }
}}' file

注意它有一定的限制：

a) 它用空格而不是 | 分隔值。它适用于您的确切输入格式，但不适用于没有额外空格的输入行，例如

|$$|32E|3C|N|N|
|AB|3CH|3C|N|N|

b) 出于同样的原因，如果 col 值有多余的空格，则该命令将生成错误的结果，例如

| $$ | 32E FOO | 3C | N | N |
| AB | 3CH BBT | 3C | N | N |
scriptingshshshshellunix