rela:强化学习大会 源码

强化学习大会 介绍 RL Assembly是和的实现的集合,以及必要的基础设施(如优先回放)和atari之类的环境。 关键实施选择 用于在C ++和Python之间同步模型的TorchScript 我们在Python中进行训练时,会在C ++中运行大量的仿真和模型推断。 这需要在Python中更新模型,同时在C ++中将其用于推理。 我们使用TorchScript来实现。 该模型在Python中使用定义一次,并且可以在两个地方使用。 一个线程在for循环中运行多个模拟器 通常,像Atari这样的简单环境对于耗尽CPU内核来说太便宜了。 同时,运行太多线程(远远超过#CPU)会导致上下文切换产生不必要的开销。 因此,我们在每个线程的for循环中运行K个模拟器实例。 然后,我们为该特定线程形成一小批K元素,并在其上运行模型推断。 对于Atari&Hanabi, K通常可以是80或120,因此