Python如何读取大文件?Python读取大文件的两种方法

当我们在使用Python处理文件的时候,可能因为文件过大,从而导致在文件的读取中会出现memoryError错误和文件读取太慢的问题,为了解决这个问题,今天的这篇文章给大家介绍了两种读取大文件的方法,希望可以对大家的学习带来一定的帮助,下面一起来看看吧。

一、读取大的文本文件

1、使用With open()读取

这种方法的使用,是在文件的关闭和打开的时候操作,当文件如果无法正常运行的时候会抛出一个内部块的异常,使用一个for循环进行迭代的操作,它会自动的采用缓冲IO和内存管理,所以你不必担心大文件。举个例子,代码如下:

with open(...) as f:
  for line in f:
    process(line)

2、使用read()方法读取

当我们对文件对象进行操作的时候,介绍过三个“读”方法: .read()、.readline() 和 .readlines()。在这三种不同的方式中,使用任意一种都有读取的限制,要读取一整个文件的时候,我们通常是不会使用.read()方法的,在使用它的时候,通常用于将文件内容放到一个字符串变量中。然而.read() 生成文件内容最直接的字符串表示,但对于连续的面向行的处理,它却是不必要的,并且如果文件大于可用内存,则不可能实现这种处理。下面是read()方法示例:

try:
f = open('/path/to/file', 'r')
print f.read()
finally:
if f:
f.close()

以上就是关于Python如何读取大文件?Python读取大文件的两种方法的全部内容了,希望大家通过对这篇文章的学习能掌握到更多的python知识,如果还想学习更多的python知识,可以继续关注学习。

相关文章

Python中的函数(二) 在上一篇文章中提到了Python中函数的定...
Python中的字符串 可能大多数人在学习C语言的时候,最先接触...
Python 面向对象编程(一) 虽然Python是解释性语言,但是它...
Python面向对象编程(二) 在前面一篇文章中谈到了类的基本定...
Python中的函数(一) 接触过C语言的朋友对函数这个词肯定非...
在windows下如何快速搭建web.py开发框架 用Python进行web开发...