11月30日上午，新加坡工程院院士、南洋理工大学谢立华教授应邀为我院做学术报告，在华中科技大学南一楼中314，通过腾讯会议平台（会议号641102921）作了题为“Reinforcement Learning-Based Control of Uncertain Nonlinear Systems”的学术报告，报告由刘骁康老师主持，我院王燕舞教授、樊慧津教授、卢仁智老师等师生约20人以线下方式参加了报告会，线上也有十余人参加了讲座。

谢立华教授现为新加坡南洋理工大学电气与电子工程学院教授，新加坡工程院院士，IEEE、IFAC和CAA会士。曾任南洋理工大学控制与仪表系主任。研究领域包括鲁棒控制、网络控制、定位与无人系统。曾出版了9本书，480多篇期刊文章，20项专利和技术披露，Thomson Reuters和Clarivate Analytics 高被引作者 (2014-2020)。他目前是《无人系统》杂志的主编和中国科学-信息科学杂志的副主编，曾是IET控制系列丛书主编，IEEE Transactions on Automatic Control, Automatica, IEEE Transactions on Control System Technology, IEEE Transactions on Control of Network Systems 等杂志的副主编。同时也是IEEE杰出讲师（2011-2014）, IEEE控制系统学会理事（2016-2018）and CDC2023总主席。

谢立华教授首先介绍了强化学习的背景，基于强化学习的控制器的目标就是通过在线求解HJB方程的解去学习最优策略和值函数。强化学习和最优控制以及自适应控制都有着紧密的联系，也可以被称为自适应最优控制。报告中，谢教授针对带有不简单标称模型的不确定非线性系统，研究了基于强化学习的抗扰动控制问题，设计扩展状态观测器估计系统的状态和总不确定性，基于观测器的输出，控制器实时补偿总不确定性，同时估计补偿系统的最优策略。通过严格的理论分析，证明了系统状态在实际中收敛于原点，所提出的策略收敛于理想的最优策略。此外，谢教授报告中针对带有不确定漂移动力学的系统，提出了基于观测的自适应高效强化学习方法，设计了一种新的并行学习自适应扩展观测器去联合估计系统状态和参数，放宽了可验证激励条件并保证了参数估计的收敛性，基于经验的强化学习方法的仿真用于在线逼近最优控制策略，通过严格的理论分析，证明了系统状态在实际中收敛于原点，所提出的策略收敛于理想的最优策略。

师生们踊跃发言交流，现场气氛十分活跃。谢立华教授的来访，促进了我院与新加坡南洋理工大学在学术研究方面的进一步合作，也给予同学们极大的启发与帮助。最后，现场参会的老师对谢教授的精彩报告表示感谢。