同时运行同一程序的多个版本

问题描述

我有一个需要花费一天时间运行的python脚本。我需要为不同的参数运行相同的代码。但是，使用for循环遍历所有参数是不可能的，因为这将导致更长的计算时间。这是描述情况的简单示例：

ValuesParams=[1,2,3,4,5]
for i in ValuesParams:
     do something
     output file_i.csv

我想运行5个具有5个不同值的不同程序（在计算机群集中），它们输出5个具有不同名称的不同csv文件，但同时执行。因为在单个程序中运行for循环需要5天。 实际上，它不仅是5个参数，而且程序不是一个简单的循环。

我该怎么做？有关寻找内容的任何建议或信息都将非常有用。

编辑感谢所有答复，特别是谨记。他们把我带到寻找答案的路上。

解决方案1：我创建了一个脚本RunPrograms.sh，该脚本遍历参数var1，var2，然后将参数传递给我的python脚本test.py并同时运行所有作业。一个限制仍然存在，我必须小心同时发送1000个作业，但这正是我所需要的。

#!/bin/bash
for var1 in $(seq 1 0.5 3); do
        for var2 in $(seq 1 3); do
                python3 test.py $var1 $var2 &
        done
done

并在python脚本中：

import sys
a=float(sys.argv[1])
b=float(sys.argv[2])
def Code(a,b)
    do_something

解决方案2：在python脚本中使用多处理以及starmap来传递多个参数：

def Code(T,K):
    do_something
RangeT=np.linspace(0.01,0.05,num=10)
RangeK=[2,4]
Z=list(itertools.product(RangeT,RangeK))
if __name__ == '__main__':  
    pool = Pool(4)
    results = pool.starmap(Code,Z)

解决方法

您可以在Python代码中使用ProcessPoolExecutor：

from concurrent.futures.process import ProcessPoolExecutor

ValuesParams=[1,2,3,4,5]
with ProcessPoolExecutor(5) as pool:
    pool.map(do_something,ValuesParams)

或者您可以在shell级别上工作，并使用不同的命令行参数简单地多次运行程序，例如使用parallel：

parallel python myscript.py -- "1" "2" "3" "4" "5"

import sys

i = int(sys.argv[1])
do_something(i)
output file_i.csv

您可以使用线程

import threading

def something(arg):
    pass
ValuesParams=[1,5]
for i in ValuesParams:
    thread=threading.Thread(target=something,args=(i,))
    thread.start()

您可以查看parallel processing with xargs。
一个简单的示例是time head -12 <(yes "1") | xargs -n1 -P4 sleep，它将运行12个sleep 1命令，4个并行命令。该命令将花费3秒钟。
首先检查您要并行运行多少个进程（我认为全部5个，但也许您想从3个开始）。对于您的情况，当您要使程序program1 .. program5最多运行3个并行程序时，请使用：

printf "%s\n" {1..5} | xargs -I"{}" -P3 bash -c 'program{} > file_{}.csv'

如果要先进行上述测试，请使用

echo "Start at $(date +%S)"; printf "%s\n" {1..5} | 
xargs -I"{}" -P3 bash -c 'sleep 2; echo "program {} finished at $(date +%S)" | tee file_{}.csv'

bash cluster-computing performance python python-3.x