想知道为什么 xarray 在读取我的全局数据时会占用这么多内存,即使在索引或切片一个小区域之后?

问题描述

想知道为什么 xarray 在读取我的全局数据时会占用这么多内存,即使在索引(或切片)一小块区域之后?

ERA5_dir=r'H:\ERA5\sfc/'
dask.config.set(**{'array.slicing.split_large_chunks': False})
ERA5_orig=xr.open_mfdataset(ERA5_dir+'*sfc*.nc',parallel=True)
ERA5_raw=ERA5_orig.chunk(chunks={'time':24472,'latitude': 200,'longitude': 200})
ERA5_raw_cut=ERA5_raw['sst'].sel(longitude=slice(100,120),latitude=slice(20,40)).persist()

当上面的代码运行时,计算机的内存消耗会不断增加,直到上面的代码被执行。之后,内存消耗会减少很多。 感觉xarray好像是把所有的数据读入内存,然后索引或者切片数据。 这和我之前理解的NetCDF直接通过index读取数据的方式有很大的不同。 是不是我上面的代码操作有问题?期待您的解答,谢谢

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)