倒立摆控制任务

任务介绍

example-of-Pendulum-game

Gym-Pendulum是传统强化学习（RL）领域中的经典控制问题之一。如以上动画所示，摆杆的一端连接到固定点，另一端可以自由摆动。该控制问题的目标是在摆杆的自由端施加力矩，使摆杆最终稳定地倒立于固定点之上。在该位置，摆杆可以"站"在固定点上并保持平衡。该问题的具体说明也可以参阅Pendulum。在个示例中，我们试图说明如何使用REVIVESDK构建Gym-Pendulum的虚拟环境，并基于虚拟环境学到最优的控制策略。我们还对比REVIVESDK输出策略和历史数据的策略表现。我们将非常直观地感受并理解REVIVE的运行机制和训练效果。

项目	描述
Action Space	Continuous(1)
Observation	Shape (3,)
Observation	High [1. 1. 8.]
Observation	Low [-1. -1. -8.]

动作空间

对摆杆的自由端施加力矩，力矩的大小是连续分布于 [-2,2] 空间中。

观察空间

观察空间为三维，分别代表摆杆与重力方向夹角的正弦值、余弦值和此夹角的角速度值。

任务目标

在Gym-Pendulum任务中，我们试图在摆杆的一端施加扭矩，使其倒立于固定点上。奖励函数由以下等式确定：

r = - (θ^{2} + 0.1 * (d θ / d t)^{2} + 0.001 * {t o r q u e}^{2})

方程中， $θ$ 代表着摆杆与重力方向的夹角， $t o r q u e$ 为动作力矩。其中方程式的最大值和最小值分别为0和-16，分别对应于摆在固定点上或倒立的摆。

python

import torch
import math

def get_reward(data : Dict[str, torch.Tensor]) -> torch.Tensor:
   action = data['actions'][...,0:1]
   u = torch.clamp(action, -2, 2)

   state = data['states'][...,0:3]
   costheta = state[:,0].view(-1,1)
   sintheta = state[:, 1].view(-1,1)
   thdot = state[:, 2].view(-1,1)

   x = torch.acos(costheta)
   theta = ((x + math.pi) % (2 * math.pi)) - math.pi
   costs = theta ** 2 + 0.1 * thdot**2 + 0.001 * (u**2)

   return -costs

初始状态

摆杆可以以任意夹角以及该夹角以任意速度作为摆杆的初始状态。

训练模型

REVIVE 是一个历史数据驱动的工具。根据文档教程部分的描述，在摆杆任务上使用 REVIVE 可以分为以下几步：

收集任务的历史决策数据。
构建决策流图和数组数据：
- 结合业务场景和收集的历史数据构建决策流图和数组数据。
  - 决策流图主要描述业务数据的交互逻辑，使用 .yaml 文件存储。
  - 数组数据存储了决策流图中定义的节点数据，使用 .npz 或 .h5 文件存储。
定义奖励函数：
- 有了上述的决策流图和数组数据，REVIVE已经可以进行虚拟环境模型的训练。但为了获得更优的控制策略，需要根据任务目标定义奖励函数。
  - 奖励函数定义了策略的优化目标，可以指导控制策略将摆杆倒立在固定点上。
开始虚拟环境模型训练和策略模型训练：
- 定义完决策流图、训练数据和奖励函数后，可以使用REVIVE开始虚拟环境模型训练和策略模型训练。
上线测试：
- 最后将REVIVE训练的策略模型进行上线测试。

收集历史数据

在此示例当中，我们假设已经有了一个可以使用的摆杆控制策略（以下简称：原始策略），我们的目标是通过REVIVE训练一个比此策略更优的新策略。我们首先使用这一原始策略来收集历史数据。

定义决策流图和准备数据

一旦有了历史决策数据，就需要根据业务场景来构建决策流程图。决策流程图准确地定义了数据之间的决策因果关系。在摆杆控制任务中，我们可以观察到摆杆的状态信息（ states ）。状态是一个三维量，分别代表摆杆与重力方向夹角的正弦值、余弦值和此夹角的角速度。控制策略 actions 根据 states 的信息来对摆杆的自由端施加力矩。

下面的示例显示 .yaml 中的详细信息。通常，有两部分信息构成 .yaml 文件，分别是 graph 和 columns 。其中 graph 部分定义了决策流图。columns 部分定义了数据的组成。具体请参考文档：准备数据。请注意，由于 states 存在三个维度， states 的列应该按顺序定义在 columns 部分。如gym-pendulum所示，状态和动作中的变量是连续分布的，我们使用 continuous 来描述每一列数据。

yaml

metadata:

   graph:             <- 'graph'部分
     actions:         <- 对应于 '.npz' 的 `actions`.
       - states       <- 对应于 '.npz' 的 `states`.
     next_states:
       - states       <- 对应于 '.npz' 的 `states`.
       - actions      <- 对应于 '.npz' 的 `actions`.

   columns:           <- 'columns'部分
     - obs_0:               ---+
       dim: states             |
       type: continuous        |
     - obs_1:                  |    这里, 'dim:states' 对应 '.npz' 的 'states'
       dim: states             | <- 'obs_*' 表示第*维的 'states'。
       type: continuous        |
     - obs_2                   |    因为'states'有三个维度，我们按照维度的顺序在
       dim: states             |    'columns'中进行了定义
       type: continuous     ---+
     - action:
       dim: actions
       type: continuous

根据准备数据将数据转换为 .npz 文件进行存储。

定义奖励函数

奖励函数的设计对于学习策略至关重要。一个好的奖励函数应该能够指导策略向着预期的方向进行学习。REVIVE支持支持以python源文件的方式定义奖励函数。

倒立摆杆的目标在于将摆杆倒立在固定点上，此时与重力的反方向夹角为0度，并获得最高奖励值0。当摆杆垂直悬挂在固定点上时，此时夹角为最大值180度，获得最小的奖励-16.

r = - (θ^{2} + 0.1 * (d θ / d t)^{2} + 0.001 * {t o r q u e}^{2})

其中方程式的最大值和最小值分别为0和-16，分别对应于摆在固定点上或倒立的摆。

python

import torch
import math

def get_reward(data : Dict[str, torch.Tensor]) -> torch.Tensor:
   action = data['actions'][...,0:1]
   u = torch.clamp(action, -2, 2)

   state = data['states'][...,0:3]
   costheta = state[:,0].view(-1,1)
   sintheta = state[:, 1].view(-1,1)
   thdot = state[:, 2].view(-1,1)

   x = torch.acos(costheta)
   theta = ((x + math.pi) % (2 * math.pi)) - math.pi
   costs = theta ** 2 + 0.1 * thdot**2 + 0.001 * (u**2)

   return -costs

定义奖励函数的更多细节描述可以参考准备数据章节的文档介绍。

训练控制策略

我们已经构建完成运行REVIVE SDK所需的文件，包括 .npz 数据文件、 .yaml文件和 reward.py 奖励函数。这三个文件位于 data 文件夹中。其中还有另一个文件 config.json，该文件保存了训练所需的超参数。

我们可以使用下面的命令开启模型训练：

bash

python train.py \
  -df data/expert_data.npz \
  -cf data/Env-GAIL-pendulum.yaml \
  -rf data/pendulum-reward.py \
  -rcf data/config.json \
  -vm once \
  -pm once \
  --run_id pendulum-v1 \
  --revive_epoch 1000 \
  --ppo_epoch 5000 \
  --venv_rollout_horizon 50 \
  --ppo_rollout_horizon 50

训练模型的更多细节描述可以参考训练模型章节的文档介绍。

重要提示

REVIVE已提供运行示例所需数据和代码，支持一键运行。数据和代码存储在SDK源码库。

测试模型

训练完成之后，我们从日志文件中获得了REVIVE训练后的控制策略，该策略保存路径为logs\pendulum-v1\policy.pkl 。我们尝试在Gym-Pendulum环境上测试策略的效果，并和历史数据中的控制策略（原始策略）进行对比。在下面的测试代码中，我们将策略在Gym-Pendulum环境中随机测试50次，每次执行300个时间步长，最后输出这50次的平均回报（累计奖励）。REVIVE训练获得地策略获得了-137.66平均奖励，远高于数据中原始策略的-861.74奖励值，控制效果提高了约84%。

python

import warnings
warnings.filterwarnings('ignore')

from Results import get_results
import pickle

result = get_results('logs/pendulum-v1/policy.pkl', 'url/Old_policy.pkl')
r_revive, r_old, vedio_revive, vedio_old = result.roll_out(50, step=300)

with open('url/results.pkl', 'wb') as f:
pickle.dump([vedio_revive, vedio_old], f)

# 输出:
# REVIVE平均回报: -137.66
#    原始平均回报: -861.74

为了更直观地比较策略，我们通过下面的代码生成策略的控制动画。我们在动画中展示钟摆运动的每一步，从比较来看，左侧由REVIVE输出的策略摆可以在3秒内将摆杆稳定地倒立在平衡点上，而右侧数据中的原始策略始终不能将摆控制到目标位置。

python

from Video import get_video
from IPython import display
%matplotlib notebook

vedio_revive, vedio_old = pickle.load(open('url/results.pkl', 'rb'))
html = get_video(vedio_revive,vedio_old)
display.display(html)

example-of-Pendulum-game

倒立摆控制任务 ​

任务介绍 ​

动作空间 ​

观察空间 ​

任务目标 ​

初始状态 ​

训练模型 ​

收集历史数据 ​

定义决策流图和准备数据 ​

定义奖励函数 ​

训练控制策略 ​

测试模型 ​

倒立摆控制任务

任务介绍

动作空间

观察空间

任务目标

初始状态

训练模型

收集历史数据

定义决策流图和准备数据

定义奖励函数

训练控制策略

测试模型