问题描述
我是ray的新手，我正在尝试并行化我开发的模拟器。这是我的模拟器的一个例子，显然它更复杂。
import some_library
import sim_library_with_global_object
class Model(object):
def __init__(self,init_vals):
#initialize object using some of the global_object from sim_library.
#the Model object have it's own variables not global
def do_step(self,time):
#calculate Model step using the global_object from sim_library
#edit the Model variables with respect to the step
class ManyModel(object):
def init(self):
self.models=[]
def add_model(self,init_vals):
model = Model(init_vals)
self.model.append(model)
def step(self,time):
for model in self.models:
model.do_step(time)
def get_data_step(self):
data=[]
for model in self.models:
data.append(model.myvalues)
return data
sim=ManyModel()
inits=[] #####list of init_vals
times=[] ####list of times to simulate
for init in intis:
sim.add_model(init)
for time in times:
sim.step(time)
step_data=sim.get_data_step()
到目前为止，我已经尝试通过以下两种方式在@ray.remote类（1）和 Model类（2）上使用带有装饰器ManyModel的ray：
（1）
############################## (1) ###############
import some_library
import sim_library_with_global_object
@ray.remote
class Model(object):
def __init__(self,time):
#calculate Model step using the global_object from sim_library
#edit the Model variables with respect to the step
class ManyModel(object):
def init(self):
self.models=[]
def add_model(self,init_vals):
model = Model.remote(init_vals)
self.model.append(model)
def step(self,time):
futures=[]
for model in self.models:
futures.append(model.do_step.remote(time))
return futures
def get_data_step(self,futures):
data=[]
while len(futures)>0:
ready,not_ready = ray.wait(ids)
results=ray.get(ready)
data.append(results)
return data
ray.init()
sim=ManyModel()
inits=[] #####list of init_vals
times=[] ####list of times to simulate
for init in intis:
sim.add_model(init)
for time in times:
sim.step(time)
step_data=sim.get_data_step()
和（2）
########################## (2) #################
import some_library
import sim_library_with_global_object
class Model(object):
def __init__(self,time):
#calculate Model step using the global_object from sim_library
#edit the Model variables with respect to the step
@ray.remote
class ManyModel(object):
def init(self):
self.models=[]
self.data=[]
def add_model(self,time):
for model in self.models:
model.do_step(time)
def get_data_step(self):
self.data=[]
for model in self.models:
self.data.append(model.myvalues)
return self.data
ray.init()
sim=ManyModel.remote()
inits=[] #####list of init_vals
times=[] ####list of times to simulate
for init in intis:
sim.add_model.remote(init)
for time in times:
sim.step.remote(time)
future=sim.get_data_step.remote()
step_data=ray.get(future)
在两种方式下，使用ray库都没有任何好处。你能帮我吗？
2020-11-09 11:33:20,517 WARNING worker.py:1779 -- WARNING: 12 PYTHON workers have been started. This Could be a result of using a large number of actors,or it Could be a consequence of using nested tasks (see https://github.com/ray-project/ray/issues/3644) for some a discussion of workarounds.
对于10 x Model ，这是性能结果：
不使用射线：
10 x Model -> do_step 0.11 [s]
使用ray（1）：
10 x Model -> do_step 0.22 [s]
此外，每次我使用方法（1）创建一个Actor时，它都会为导入的库创建所有global_objects的副本，并且使ram消耗变得疯狂。我需要用超过100k个Model 对象进行午餐模拟。
总的来说，我不知道在ray中创建很多演员是否是个好主意。
解决方法
放大一些核心元素
ray.init()
sim=ManyModel.remote()
for time in times:
sim.step.remote(time)
future=sim.get_data_step.remote()
step_data=ray.get(future)
最重要的一点是，您仅创建一个Ray演员（在sim=ManyModel.remote()行中）。 Ray actor按顺序执行提交给他们的任务（默认情况下），因此创建一个actor不会为并行性创造任何机会。要与Ray actor保持并行，您需要创建并使用多个actor。
第二点是您正在for循环内调用ray.get。这意味着在通过for循环的每次迭代中，您都将提交一个任务，然后调用ray.get，等待它完成并检索结果。相反，您将要提交多个任务（可能在循环内），然后在循环外调用ray.get。