论文阅读笔记《Decoupled Visual Servoing With Fuzzy Q-Learning》

核心思想

该文提出一种结合模糊Q-learning算法的解耦视觉伺服方法，看着名字就知道文章中掺杂的元素有很多，首先本文的研究对象是四轴无人机的视觉伺服控制，因为无人机属于欠驱动动态系统（underactuated dynamic systems），即输入只有四个参数（四个旋翼的转速），但需要控制6个自由度。所以作者提出将无人机的俯仰和翻滚动作与其他动作进行解耦，用两个视觉伺服控制器分别控制这两组自由度。该文采用的是基于图像的视觉伺服方法，具体而言特征信息是利用图像边缘信息获取的，作者提出了一种新型的边缘特征提取方法（SIPA）。针对视觉伺服中的增益参数（该文中使用KKK，其他文章中常用λ\lambdaλ），该文提出利用Q-learning的方法，通过训练使其能够根据当前的状态自适应调整合适的增益参数，而不是像传统的视觉伺服方法中采用固定的参数。为了解决Q-learning过程中收敛速度太慢的问题，该文又结合了模糊算法，根据特征误差的变化速率来设定对应的学习率。整个算法的处理流程如下图所示

首先利用SIPA算法从环境中获取特征信息，并与期望的特征信息对比计算差异eee。一方面差异eee和解耦后的图像雅可比矩阵JvJ_vJv和JψJ_{\psi}Jψ相乘作为Q-learning中的状态参数，分别输入到两个学习模型中。另一方面差异eee关于时间的导数（变化速率）e˙\dot{e}e˙输入到模糊控制器中输出对应的学习率α\alphaα，来帮助两个学习模型的训练。两个学习模型分别输出两个增益参数KVSvK_{VS}^vKVSv和KVSψK_{VS}^{\psi}KVSψ用于两个解耦的视觉伺服控制器计算控制律。最后两个视觉伺服控制器输出的参数，控制四轴无人机运动，形成闭环控制。

创新点

提出一种新的特征提取方法SIPA
提出一种解耦的视觉伺服控制器
提出一种带有模糊控制器的Q-learing学习模型用于生成视觉伺服中的增益参数

算法评价

该文将Q-learning算法和视觉伺服算法做了更深层次的融合，而不是简单拼接。利用强化学习方法来根据当前状态生成对应的增益参数，相对于固定的参数，该方法适应性更强，能使无人机更快的收敛到期望状态。这篇文章其实揭示了一个很好的将深度学习或者强化学习方法与视觉相结合的思路，视觉伺服的计算过程中有许多算法都需要人工设定或者估计，而结合学习模型可以更好的设定这部分参数。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。