问题描述
我正在尝试在 python3 中解析非常大的gzip压缩(10 + GB)文件。我没有创建解析树,而是根据this答案中的建议使用了嵌入式操作。
但是,在查看FileStream
代码时,它想要读取整个文件然后进行解析。这不适用于大文件。
所以,这是一个分为两个部分的问题。
- ANTLR4是否可以使用文件流(可能是自定义的)允许它一次读取文件块?类接口应该是什么样的?
- 基于上面的“是”,该类是否需要处理查找操作,如果基础文件是gzip压缩的,那么这将是一个问题吗?
解决方法
简短回答:不,不可能。
长(长)答案:ANTLR4可以潜在地使用无限提前行,因此它依赖于流而无延迟地搜索到任何位置,否则解析速度将下降至几乎保持不变。因此,所有运行时都使用普通文件流,该文件流可一次读取整个文件。
过去曾有过讨论/尝试来创建仅缓冲部分输入的流,但是我还没有听说任何实际可行的方法。