如何有效地终止剧集强化学习

问题描述

我正在尝试针对优化问题实施RL。我正在实施Deep Q学习，以找到“下一个最佳操作”，即RL算法提供的最佳延迟。我正在针对预定义的延迟进行优化，以下是我的数据格式。

        Layer,device1_Latency,device2_latency,Data_Size
        layer1     1584              893            3.01
        layer2     5821              3498           64.22
        layer3     1332              942            64.22
        layer4     2051              720            16.05632
        layer5     3997              1297           32.11264
        layer6     261               270            32.11264

关于上述问题，我有几个问题首先与结束剧集有关。按行选择的一个完整组合，例如layer5 3997,1297,32.11是RL算法提供的最小延迟，我认为这是一个完整的情节，或者有另一种方法来结束此情节。

我的第二个问题是没有针对此问题的操作，针对此问题的操作是针对预定义的延迟值提供最低延迟的层号，例如对于该问题第6层而言，它是最佳的。那么，对于该问题，我将如何表示行动者，代理人将如何知道一个选择就是一个行动，并且必须移至下一个情节（观察，行动和奖励）？

 class Environment1: 
   def __init__(self,data,max_ticks=300):
     self.data = data 
     self.application_latency=1342
     self.reward = 0
     self.done = False

   def step(self,act):
    self.take_action(action)
    reward = self.get_reward()
    ob = self.get_state()
    return ob,reward,self.done
    

   def get_state(self):
    def createGenerator(self):
        obs_data = [tuple(x) for x in self.data[['device1_Latency','device2_latency']].to_numpy()]
        for obs in obs_data:
           yield obs
  
     return obs

   def get_reward():
    #check if current latency is greater than the application latency then penalize
     def createGenerator(self):
          obs_data = [tuple(x) for x in self.data[['device1_Latency','device2_latency']].to_numpy()]
          for obs in obs_data:
              yield obs
         total_latency=obs.device1_Latency + obs.device2_latency
        if total_latency  <  self.application_latency:
          reward -= 2
         #everything fine - reward up
        else:
          reward += 2
      return reward

   def reset(self):
    '''
    Reset the state of the environment and returns an initial observation.
    Returns
    -------
    observation (object): the initial observation of the space.
    '''
    self.ticks = 0
    self.reward_ = 0
    return self.get_state()

  def take_action(self,action):

 

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）