论文介绍
标题
A Novel Policy Iteration Algorithm for Nonlinear Continuous-Time H∞ Control Problem
（面向非线性连续时间 H∞ 控制问题的一种新颖策略迭代算法）
作者
Qi Wang
摘要
非线性连续时间系统的 H∞ 控制依赖于 Hamilton-Jacobi-Isaacs（HJI）方程的解，而由于 HJI 方程的非线性特性，已被证明无法获得闭式解。为求解 HJI 方程，已有大量迭代算法被提出，其中多数算法在 Banach 空间中构造不动点方程后本质上都是牛顿法。牛顿法是一种局部优化方法，收敛域较小，且要求初始猜测足够接近解；而阻尼牛顿法增强了对初始条件的鲁棒性，具有更大的收敛域。
本文提出一种新的强化学习方法，称为 α-策略迭代（α-PI），用于求解 HJI 方程。具体工作包括：
- 通过构造阻尼牛顿迭代算子方程，得到广义 Bellman 方程（GBE），该方程是 Bellman 方程的推广；
- 通过对 GBE 进行迭代，提出一种无需系统内部动态知识的 on-policy α-PI 强化学习方法；
- 在 on-policy α-PI 方法基础上，进一步提出一种完全不依赖系统动态知识的 off-policy α-PI 强化学习方法；
- 分别推导 on-policy 与 off-policy α-PI 算法的基于神经网络的自适应 critic 实现方案，并采用批最小二乘法计算神经网络权重参数；
- 通过计算机仿真验证 off-policy α-PI 算法的有效性。
主题/分类
- 主分类：Systems and Control（eess.SY）
- 交叉分类：cs、cs.SY、eess
其他信息
- 提交日期：2024 年 1 月 23 日
- 篇幅：25 页，10 幅图
- 备注：arXiv 管理注记指出，本文与 arXiv:2401.12882 存在文本重叠
- arXiv 编号：arXiv:2401.13014 [eess.SY]