python比pypy读取/迭代文件快两倍

问题描述

通常，对于常规的简单python代码，使用pypy会更快。但是，当我读取文件并仅拆分字符串并执行非常简单的逻辑时，结果却比常规python慢得多。

采用以下代码作为参考。

首先让我们使用下面的代码创建一个伪文件：

NUM_ROWS = 10000000
FILENAME = "testing.txt"

def create_file():
    data = []
    for x in range(NUM_ROWS):
        data.append("AA BB CC DD EE FF GG HH II JJ KK LL MM NN OO\n")

    with open(FILENAME,"w") as f:
        for d in data:
            f.write(d)
        f.close()

这只会创建一个名为testing.txt的文件。

然后我们有一个sample.py：

import datetime
FILENAME = "testing.txt"

start = datetime.datetime.Now()
with open(FILENAME) as f:
    for i,line in enumerate(f):
        data = line.split(" ")
        if data[0] != "AA":
            print(i,line)
print(datetime.datetime.Now() - start)

C:\pypy3.6-v7.3.1-win32\pypy3.exe sample.py仅需42s，而python sample.py仅需18s

我在Windows 10计算机上使用python3.7。有没有办法使用pypy来加速像上面这样的简单脚本？我用错了吗？

----------更新：

显然，它是pypy中速度较慢的文件的“读取”或迭代过程。

使用sample.py作为：

import datetime
FILENAME = "testing.txt"

start = datetime.datetime.Now()
with open(FILENAME,"r") as f:
    for line in f:
        pass
print(datetime.datetime.Now() - start)

我尝试使用截至20200818的最新pypy3版本。这是我对上述简单代码的发现（只是简单地逐行迭代一千万行的文件）。在Windows中，常规python（3.8）需要2.3秒的时间来执行上述代码，而使用pypy3则需要30秒的时间。在Ubuntu中，常规python用pypy3需要1.2秒，而用pypy3需要3.4秒。 linux版本绝对可以接受，但是Windows绝对需要一些工作

有没有一种方法可以加快使用pypy for Windows读取/迭代文件的速度？

解决方法

问题已更新，所以我更新了答案：

与每次优化一样，您需要分析每个零件。当然，您应该专注于循环中的命令。

通过相同测试的我的解决方案（无配置文件）将是：

import datetime
FILENAME = "testing.txt"

start = datetime.datetime.now()
with open(FILENAME) as f:
    i = 0
    data = f.readline()
    while data:
        if not data.startswith('AA '):
            print(i,line)
        i += 1
        data = f.readline()

print(datetime.datetime.now() - start)

但是，这不是解决方案@ user1179317预期的更新后的问题@ user1179317中的用户现在知道文件数据块的读取是个问题。

您可以尝试使用yield读取大块数据：

def read_in_chunks(file_object,chunk_size=1024):
    """generator to read file in chunks"""
    while True:
        data = file_object.read(chunk_size)
        if not data:
            break
        yield data


with open('big_file.data') as f:
    for piece in read_in_chunks(f):
        process_data(piece)

另一种选择是使用iter和一个辅助函数：

f = open('big_file.dat')
def read_chunk(chunk_size=1024):
    return f.read(chunk_size)

for piece in iter(read_chunk,''):
    process_data(piece)

再次

-这不是ready to use past & copy的答案-您需要进行分析和测试，因为结果将取决于文件大小，可用内存，硬盘块大小，IP数据包大小等。

由于该操作是受I / O约束的，所以多线程方法可能很好-您可能会尝试在单独的线程中读取文件的下一个块。

所以-您需要使用不同的块大小进行剖析

performance pypy python