在python中合并两个表与数百万行

我正在使用 python进行一些数据分析.我有两个表,第一个(称为’A’)有10万行和10列,第二个(‘B’)有7300万行和2列.它们具有1个带有公共ID的列,我想根据该列与两个表相交.特别是我想要表的内部连接.
我无法将内存中的表B作为熊猫数据帧加载,以便在熊猫上使用正常的合并功能.我尝试通过块读取表B的文件,将每个块与A相交并连接这些交点(从内部连接输出).这是可以的速度,但每一次,然后这给我的问题,吐出一个细分错误…没有那么好.这个错误很难复制,但它发生在两台不同的机器上(Mac OS SNow Leopard和UNIX,RedHat).我最后尝试使用Pandas和PyTables的组合,将表B写入磁盘,然后迭代表A,并从表B中选择匹配的行.最后一个选项有效,但速度很慢.认情况下已经编制了PyTables表B.
我想知道你是否可以提出任何其他想法来解决这个问题.
提前致谢

解决方法

这是一个小的伪杂交,但我认为应该是相当快.
直接基于磁盘的合并,磁盘上的所有表.该
关键是你不是在选择本身,只是索引
通过启动/停止进入桌面,这是相当快的.

选择符合条件B(使用A的ids)的行将不会
非常快,因为我认为它可能会将数据导入python空间
而不是内核搜索(我不确定,但你可能想要的
在内核优化部分更多地投入pytables.org上,
有一种方法来判断它是否在内核中)

另外如果你这么做,这是一个非常平行的问题(只是不要写
结果来自多个进程的同一个文件,pytables不是写安全的
为了那个原因)

有关如何进行联接操作实际上是“内部”连接的注释,请参阅this answer.

对于您的merge_a_b操作,我想您可以使用标准的大熊猫连接
这是非常有效的(当内存中)

一个选项(取决于“大”A)是否可能将A分为2部分
(索引相同),在第一个中使用较小的(可能使用单列)
表;而不是存储合并结果本身,存储行索引;后来
你可以拉出你需要的数据(就像使用索引器一样)
http://pandas.pydata.org/pandas-docs/stable/io.html#multiple-table-queries

A = hdfstore('A.h5')
B = hdfstore('B.h5')

nrows_a = A.get_storer('df').nrows
nrows_b = B.get_storer('df').nrows
a_chunk_size = 1000000
b_chunk_size = 1000000

def merge_a_b(a,b):
    # function that returns an operation on passed
    # frames a and b
    # Could be a merge,join,concat,or other operation that 
    # results in a single frame


for a in xrange(int(nrows_a / a_chunk_size) + 1):

    a_start_i = a * a_chunk_size
    a_stop_i  = min((a + 1) * a_chunk_size,nrows_a)

    a = A.select('df',start = a_start_i,stop = a_stop_i)

    for b in xrange(int(nrows_b / b_chunk_size) + 1):

        b_start_i = b * b_chunk_size
        b_stop_i = min((b + 1) * b_chunk_size,nrows_b)

        b = B.select('df',start = b_start_i,stop = b_stop_i)

        # this is your result store
        m = merge_a_b(a,b)

        if len(m):
            store.append('df_result',m)

相关文章

功能概要:(目前已实现功能)公共展示部分:1.网站首页展示...
大体上把Python中的数据类型分为如下几类: Number(数字) ...
开发之前第一步,就是构造整个的项目结构。这就好比作一幅画...
源码编译方式安装Apache首先下载Apache源码压缩包,地址为ht...
前面说完了此项目的创建及数据模型设计的过程。如果未看过,...
python中常用的写爬虫的库有urllib2、requests,对于大多数比...