Python多重处理-在父类和衍生类之间共享的多重处理数组中处理数据的问题

问题描述

我想实现一种在父函数和将要产生的类实例之间共享信息表的方法。根据我的读物，我需要使用给定长度的ctypes.c_char_p表。

我设法通过父函数初始化该表，然后将其传递给被调用的类。从类的__init__()中，我可以访问其内容。最后，我尝试操作它们（在此示例中为反向名称），然后从类中确认已按预期填充了共享数组，但是当我尝试从父进程查看内容时，我得到了垃圾。 / p>

我的代码和输出如下：

代码：

#!/usr/bin/env python3

import multiprocessing
import ctypes
import random
import json

class employee(multiprocessing.Process):

    def __init__(self,employee_data,shared_array_fields):

        self.employee_data = employee_data
        self.shared_array_fields = shared_array_fields
        # self.lock = lock
        
        print("**" * 100)
        print("IN class:\n",employee_data[:])

        self.run()

    def run(self):
        for ii in range(self.shared_array_fields):
            employee_string = self.employee_data[ii].decode("utf-8")
            new_name_json = json.loads(employee_string)
            new_name = new_name_json["name"][::-1]
            self.employee_data[ii] = bytes('{ "name": "' + str(new_name) + '" }',"utf-8")

        print("**" * 100)
        print("IN class AFTER manipulation:\n",self.employee_data[:])


shared_array_fields = 5

def main():
    global shared_array_fields

    lock = multiprocessing.Lock()
    employee_data = multiprocessing.Array(ctypes.c_char_p,shared_array_fields)

    for ii in range(shared_array_fields):
        name = ''.join(random.choice(['a','b','c','d','e']) for i in range(10)) + "_" + str(ii)
        employee_data[ii] = bytes('{ "name": "' + str(name) + '" }',"utf-8")

    print("**" * 100)
    print("BEFORE class:\n",employee_data[:])

    proc1 = multiprocessing.Process(target=employee,args=(employee_data,shared_array_fields))
    proc1.start()
    proc1.join()

    # time.sleep(1)

    print("**" * 100)
    print("AFTER class:\n",employee_data[:])


if __name__ == "__main__":
    main()

结果：

[http_offline@greenhat-32 tmp]$ ./temp.py 
********************************************************************************************************************************************************************************************************
BEFORE class:
 [b'{ "name": "abbbabeadc_0" }',b'{ "name": "daeebeeabc_1" }',b'{ "name": "dbbceedece_2" }',b'{ "name": "caccdcbeae_3" }',b'{ "name": "ccdcbdabdb_4" }']
********************************************************************************************************************************************************************************************************
IN class:
 [b'{ "name": "abbbabeadc_0" }',b'{ "name": "ccdcbdabdb_4" }']
********************************************************************************************************************************************************************************************************
IN class AFTER manipulation:
 [b'{ "name": "0_cdaebabbba" }',b'{ "name": "1_cbaeebeead" }',b'{ "name": "2_ecedeecbbd" }',b'{ "name": "3_eaebcdccac" }',b'{ "name": "4_bdbadbcdcc" }']
********************************************************************************************************************************************************************************************************
AFTER class:
 [b'',b'',b'{ "name": "daeebeeabc_1" }']
[http_offline@greenhat-32 tmp]$

感谢您的帮助。

解决方法

使用数组非常麻烦，因为很难为它重写一个全新的值。另外，为什么要经历从字典转换为字符串然后又返回到仅使用Array的必要性？最后，除非希望自己管理同步，否则，您希望在进程之间共享的任何结构都应通过调用“ multiprocessing.Manager() 创建的“管理器”实例来创建。

完成目标的最简单方法是让管理器创建两个Queue对象，一个输入队列（用于流程的输入）和一个保存结果的输出队列。在这种特殊情况下，您可以为两个对象使用相同的队列对象，但这比较干净，通常是当多个输入和输出同时由进程池处理并且未使用标准库模块，例如multiprocessing.pool或concurrent.futures 。

最后，您对Process子类的构造需要一些调整（您的构造函数需要调用基类构造函数，而不应该调用run）。用大写字母为班级命名也很常见，尽管我没有更改名称。我也认为不继承Process是更常见的做法。通常，只需编写一个函数，然后传递给对Process target，args和/或kwargs参数的调用。

更新为使用托管字典

#!/usr/bin/env python3

import multiprocessing
import random

class employee(multiprocessing.Process):

    def __init__(self,employees):

        super().__init__()   # init the base class !!!
        self.employees = employees

        print("**" * 100)
        print("IN class:\n",self.employees[:])


    def run(self):
        employees = self.employees
        for i,employee in enumerate(employees):
            new_name = employee["name"][::-1]
            employee["name"] = new_name
            employees[i] = employee # must be rewritten to show it has changed. Yuck!
        #self.employees = employees

        print("**" * 100)
        print("IN class AFTER manipulation:\n",employees[:])


def main():

    manager = multiprocessing.Manager()
    employees = manager.list()

    for ii in range(5):
        name = ''.join(random.choice(['a','b','c','d','e']) for i in range(10)) + "_" + str(ii)
        employees.append({"name": name})

    print("**" * 100)
    print("BEFORE class:\n",employees[:])

    proc1 = employee(employees)
    proc1.start()
    proc1.join()

    # time.sleep(1)

    print("**" * 100)
    print("AFTER class:\n",employees[:])


if __name__ == "__main__":
    main()

multiprocessing python