处理 1gb 数据文件以读取单词并计算最大长度单词？

问题描述

我写了这段代码，但它会在 1gb 大小的文件上失败。

awk -F'\t' '$1==2 && $2 !~ /^26([[:space:]]|$)/' ip.txt

你能回答吗？我该如何解决这个问题？

解决方法

问题变得很明显，当 1GB 的单词被压缩成 1 行时！*

解决方案：不是“逐行”处理输入，而是“逐字”处理，这样就足够高效了！ ;)

瞧：

public class TestFiles {

  public static void main(String[] args) {
    int minLength = Integer.MAX_VALUE;
    int maxLength = Integer.MIN_VALUE;
    String minWord = "";
    String maxWord = "";
    try {
        File myObj = new File("C:\\Users\\Downloads\\java.txt");
        Scanner myReader = new Scanner(myObj);
        while (myReader.hasNext()) {
            String word = myReader.next();
            if (word.length() < minLength) {
              minLength = word.length();
              minWord = word;
            } 
            if (word.length() > maxLength) {
              maxLength = word.length();
              maxWord = word;
            }
          }
        }
        myReader.close();
    } catch (Exception e) {
        // TODO: handle exception
    }
    System.out.println("min length " + minLength + " - max lenth " + maxLength);
    System.out.println("min length word " + minWord + " - max lenth word " + maxLength);
  }
}

---

*当“许多”词在一行中时，我们可能会在这里遇到问题：

• myReader.hasNextLine(),
• String data = myReader.nextLine() 和
• String[] dataArray = data.split(" ");

---

@huy 的回答也正确：else “对大多数情况有效”，但“对极端情况不正确”。

,

int len = s.length();
if (len < minLength) {
    minLength = len;
    minWord = s;
} 
if (len > maxLength) {
    maxLength = len;
    maxWord = s;
}

如果大字符串位于第一行的第一个索引处，您的测试用例将失败。

顺便说一句，我认为您应该将大测试分解为小测试，尝试为单行找到小字符串和大字符串，然后再从文件中找到多行和数据