问题描述
我正在尝试使用HAIL解析以.bgen格式传送到Spark DF的基因组数据。该文件的大小为150 GB，无法放入群集中的单个节点。
我想知道是否有流命令/方式将数据解析为所需的目标格式，而不需要我将数据预先加载到内存中。
我真的很感激任何投入/想法！非常感谢！
解决方法
您是否可以使用独立的BGEN阅读器来获取所需的内容，然后将其转换为所需的格式？
import numpy as np
from bgen_reader import open_bgen
bgen = open_bgen("M:/deldir/genbgen/good/merged_487400x1100000.bgen")
# read all samples and variants 1M to 1M+31
val = bgen.read(np.s_[:,1000000:1000031])
print(val.shape)
=>（487400，31，3）
'bed-reader'库提供了受NumPy启发的API，可以非常快速，轻松地将BGEN文件的片段读取到NumPy数组中。第一次读取时，它将创建一个元数据文件。之后，它立即启动，每秒读取数百万个概率。
- 安装：https://pypi.org/project/bgen-reader/
- 文档：https://bgen-reader.readthedocs.io/en/latest/quickstart2.html
很高兴为您提供有关用法或问题的帮助。
- 卡尔