Python-每个切片的切片可迭代增量列表转换

问题描述

我有一个来自read_sql的生成器，并使用itertools.islice将此生成器转换为迭代器。因此，我使用start和stop参数在切片中将此生成器转换为迭代器。并且此过程循环运行，将生成器转换为迭代器，分为3个切片，并将迭代器转换为列表。

首次运行-> iterable_slice = list(it.islice(generator_df,3))耗时2.99秒 第二次运行-> iterable_slice = list(it.islice(generator_df,4,6))花费5.3秒 并使用每个新循环或下一组切片，列表转换将花费更多时间。

为什么会发生这种情况？我在哪里犯错？请想一想。谢谢。

#function to convert generator to slices

def gen_to_itr(generator_df,slice_start,slice_end):
    iterable_slice = list(it.islice(generator_df,slice_end))

#main function 
slices = 3
slice_start = 0
slice_end = slices
flg_cnt = 0
while slice_end <= bcnt and flg_cnt <= 1:
    generator_df = pd.read_sql(query2,test_connection_forbankcv_connection,chunksize = 1800)
    first = time.perf_counter()
    iterable_slice = gen_to_itr(generator_df,slice_end)
    end = time.perf_counter()
    print(f'Chunk list created in {round(end-first,2)} second(s)')
    slice_start = slice_start+slices
    .....

解决方法

it.islice()必须在创建新的迭代器时跳过生成器的前slice_start个元素。这需要与slice_start成比例的时间。

但是，我很难相信跳过熊猫系列的每个元素大约需要1秒钟。如果chunksize小于slice的大小，则可能需要从数据库中进行另一次获取以获取下一个chunk。但是，只要您位于同一块中，我认为它应该具有与遍历静态序列相同的速度。