No.59

智源社区

强化学习组

强

化

学

 习

研究

观点

资源

活动

周刊订阅

告诉大家一个好消息，《强化学习周刊》已经开启“订阅功能”，以后我们会向您自动推送最新版的《强化学习周刊》。订阅方法：

方式1：扫描下面二维码，进入《强化学习周刊》主页，选择“关注TA”。

方式2：点击本文下方的“阅读原文”，进入《强化学习周刊》Hub社区版，根据内附的详细订阅步骤，完成订阅。

关于周刊

强化学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写为第59期《强化学习周刊》。本期周刊整理了强化学习领域相关的最新论文推荐、研究综述以飨诸位。

周刊采用社区协作的模式产生，欢迎感兴趣的朋友们参与我们的工作，一起来推动强化学习社群的分享、学习和交流活动。可以扫描文末的二维码加入强化学习社区群。

本期贡献者：李明、刘青、小胖

论文推荐

强化学习近年来取得了令人瞩目的成就，其应用于各个领域的研究也取得较大的进步，比如分层强化学习应用于生物主体复杂问题解决、深度强化学习应用于建筑行业的资源管理、多智能体强化学习相关的理论及其最新应用等。

本次推荐了15篇强化学习领域的相关论文，主要介绍了基于学习顺序决策任务的可理解模型框架以生成有意义及易于理解的策略、基于深度强化学习（DRL）的建筑企业资源自动分配结构以有效地适应大型资源管理系统、基于连续动作任务的无遗憾式强化学习算法PORL以获得较优最终策略和更稳定训练过程、通过强化学习 (RL) 发现缓存时序通道攻击的自动探索框架提高安全漏洞、基于模型的混合soft actor-critic（MHSAC）算法根据患者生理信息减少医疗错误、最后介绍了基于强化学习 (RL) 的解决航天器控制问题的方法等。

标题：Intelligent problem-solving as integrated hierarchical reinforcement learning（Universitat Hamburg:Manfred Eppe | 基于集成分层强化学习的智能问题解决）了解详情

简介：根据认知心理学和相关学科，生物主体复杂问题解决行为的发展依赖于分层认知机制。分层强化学习作为很有前途的计算方法，最终可能在人工智能体和机器人中产生类似的问题解决行为。目前，许多人类和非人类动物的问题解决能力明显优于人工系统。本文提出了整合受生物学启发的分层机制的步骤，以实现AI高级问题的解决技能。其首先回顾认知心理学的文献，以强调成分抽象和预测处理的重要性。然后，将获得的见解与当代分层强化学习方法联系起来。研究结果表明，所有已识别的认知机制都已在孤立的计算架构中单独实现，这引发了为什么不存在将它们集成在一起的单一统一架构的问题。最后通过提供关于开发这种统一架构的计算挑战的综合视角来解决此问题。作者希望该结果能够指导开发更复杂的受认知启发的分层机器学习架构。

论文链接：https://arxiv.org/pdf/2208.08731.pdf

标题：A Framework for Understanding and Visualizing Strategies of RL Agents（SRI International:Pedro Sequeira | 用于理解和可视化RL智能体策略的框架）了解详情

简介：近年来，可解释AI取得了重大进展，理解深度学习模型的需求变得越来越重要。顺序决策任务的可理解模型作为特殊挑战，其不仅需要理解单个预测，还需要理解与动态环境相互作用的一系列预测。本文提出了学习顺序决策任务的可理解模型的框架，其中agent策略使用时序逻辑公式来表征。首先使用捕获频繁动作模式的新嵌入方法对跟踪进行聚类。再通过搜索解释不同集群中智能体策略的逻辑公式，以评估星际争霸II（SC2）中战斗场景的框架。为SC2环境实现特征提取器，它将轨迹提取为描述环境状态和智能体重放中智能体本地行为的高级特征序列。最后设计了可视化工具，描述了环境中单元的移动，有助于理解不同的任务条件如何导致每个跟踪集群中不同的智能体行为模式。实验结果表明，该框架能够将智能体跟踪分成不同的行为组，该策略推理方法可以产生一致、有意义且易于理解的策略描述。

论文链接：https://arxiv.org/pdf/2208.08552.pdf

标题：Path Planning of Cleaning Robot with Reinforcement Learning（KAIST:Woohyeon Moon | 基于强化学习的清洁机器人路径规划）了解详情

简介：近期，随着对清洁机器人的需求稳步增长，家庭用电量也在不断增加。为了解决耗电问题，清洁机器人的高效路径规划问题变得很重要，并且已经进行了许多研究。然而，它们中的大多数都是关于沿着简单的路径段移动，而不是关于清理所有地方的整个路径。RL已被用于清洁机器人。但RL 模型仅在特定的清洁环境中运行，而不是在各种清洁环境中运行。每当清洁环境发生变化时，模型都必须重新训练。为此，近端策略优化 (PPO) 算法与在各种清洁环境中运行的有效路径规划相结合，使用迁移学习 (TL)、检测最近清洁瓷砖、奖励整形和制作精英集方法。该方法通过消融研究得到验证，并与传统方法（如随机法和锯齿法）进行比较。实验结果表明，与原始PPO相比，其提高了训练性能和收敛速度。并且还证明了该方法比传统方法（随机、锯齿）具有更好的性能。

论文链接：https://arxiv.org/ftp/arxiv/papers/2208/2208.08211.pdf

标题：Metric Residual Networks for Sample Efficient Goal-conditioned Reinforcement Learning（德克萨斯大学奥斯汀分校:Bo Liu | 用于样本高效目标条件强化学习的度量残差网络）了解详情

简介：目标条件强化学习 (GCRL) 具有广泛的潜在现实应用，包括机器人的操作和导航问题。特别是在此类机器人任务中，样本效率对 GCRL 至关重要，因为默认情况下，智能体仅在达到目标时才会获得奖励。虽然已经提出了几种方法来提高 GCRL 的样本效率，但一种相对较少研究的方法是设计神经架构以支持样本效率。本文为 GCRL 引入了新的神经架构，它比常用的单片网络架构实现了显着更好的样本效率。其关键见解是最优动作价值函数 Q^*(s, a, g) 必须满足特定意义上的三角不等式。还引入了度量残差网络 (MRN)，该网络有意将动作值函数Q（s，a，g）分解为度量加上残差非对称分量的求和。MRN 可证明近似于任何最优动作值函数 Q^*(s,a,g)，因此使其成为适合 GCRL 的神经架构。在 GCRL 的 12 个标准基准环境中进行了全面实验。实证结果表明，MRN 在样本效率方面均优于其他最先进的 GCRL 神经架构。

论文链接：https://arxiv.org/pdf/2208.08133.pdf

标题：Autonomous Resource Management in Construction Companies Using Deep Reinforcement Learning Based on IoT（德黑兰艺术大学: Maryam Soleymani | 基于物联网的深度强化学习在建筑企业中的自主资源管理）了解详情

简介：资源分配是规划建设项目中最关键的问题之一，其直接影响成本、时间和质量。根据项目目标，自主资源管理通常有特定的分配方法。本研究旨在提出基于深度强化学习（DRL）的建筑企业资源自动分配结构，可用于各种情况。数据采集（DH）从公司所有项目中的分布式物联网（IoT）传感器设备收集资源信息，再将覆盖资源分配（CRA）与从DH获得的信息进行比较，其中自主资源管理（ARM）确定感兴趣的项目。基于公司的结构化资源信息，在两种不同的分配情况下训练具有相似模型的双深度Q网络（DDQN），以平衡目标与资源约束。所提技术可以通过组合投资组合信息和采用的单个项目信息，有效地适应大型资源管理系统。此外，还详细分析了重要信息处理参数对资源分配性能的影响。还介绍了管理方法的普遍性结果，表明当情况的变量发生变化时不需要额外的训练。

论文链接：https://arxiv.org/pdf/2208.08087.pdf

标题：Deep Learning based Security-Constrained Unit Commitment Considering Locational Frequency Stability in Low-Inertia Power Systems（休斯敦大学:Mingjian Tuo | 基于深度学习的考虑位置频率稳定性的低惯性电力系统安全约束机组组合）了解详情

简介：随着电力系统脱碳的目标，传统的同步发电机逐渐被变流器接口的可再生能源发电所取代。由于系统惯性显着降低，这种转变引起了对系统频率和频率变化率 (RoCoF) 安全性的关注。现有研究大多来自统一的系统频率响应模型，其可能无法捕捉系统的所有特性。为了确保位置频率安全，本文提出了基于深度神经网络（DNN）的RoCoF约束机组组合（DNN-RCUC）模型。RoCoF 预测器经过训练，可根据高保真模拟数据集预测最高位置的 RoCoF。训练样本是从各种场景的模型中生成的，可以避免模拟发散和系统不稳定。然后将经过训练的网络重新制定为一组混合整数线性约束，表示单元承诺中的位置 RoCoF 限制约束。所提出的 DNN-RCUC 模型在 IEEE 24 总线系统上进行了研究。PSS/E 上的时域仿真结果证明了所提算法的有效性。

论文链接：https://arxiv.org/ftp/arxiv/papers/2208/2208.08028.pdf

标题：PD-MORL: Preference-Driven Multi-Objective Reinforcement Learning Algorithm（University of Wisconsin-Madison : Toygun Basaklar | PD-MORL：偏好驱动的多目标强化学习算法）了解详情

简介：许多现实世界的问题涉及多个可能相互冲突的目标。多目标强化学习（MORL）方法通过最大化由偏好向量加权的联合目标函数来解决这些问题。此类方法找到与训练期间指定的偏好向量相对应的固定定制策略。然而，设计约束和目标通常在现实场景中动态变化。此外，为每个潜在偏好存储策略是不可扩展的。因此，通过单个训练获得给定域中整个偏好空间的一组帕累托前沿解至关重要。为此，本文提出了新颖的MORL算法，其训练单个通用网络以覆盖整个偏好空间。偏好驱动的MORL（PD-MORL），利用偏好作为指导来更新网络参数。在使用经典深海宝藏和果树导航基准演示PD-MORL之后，最后评估了其在具有挑战性的多目标连续控制任务中的性能。

论文链接：https://arxiv.org/pdf/2208.07914.pdf

标题：A Risk-Sensitive Approach to Policy Optimization（约翰霍普金斯大学: Jared Markowitz|策略优化的风险敏感方法）了解详情

简介：标准深度强化学习 (DRL) 旨在最大化预期奖励，在制定策略时同等考虑收集到的经验。本文根据全集奖励分布的累积分布函数 (CDF) 来优化风险敏感目标。其允许基于相对质量对结果进行权衡，可用于连续和离散的动作空间，并且可以自然地应用于受约束和不受约束的环境中。本文展示了如何通过抽样计算一类广泛的风险敏感目标计算策略梯度的渐近一致估计，随后结合方差减少和正则化措施以促进有效的策略学习。然后，证明使用适度“悲观”的风险概况，强调智能体表现不佳的场景，来加强探索和持续关注解决缺陷。实验表明，在没有成本限制的情况下，悲观的风险概况可用于降低成本，同时提高总回报积累。在成本限制的情况下，它们被视为在规定的允许成本下比风险中性方法提供更高的积极回报。

论文链接：https://arxiv.org/pdf/2208.09106.pdf

标题：Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games（南京大学: Rong-Jun Qin|非平稳任务和游戏中连续动作强化学习的统一策略优化）了解详情

简介：本文讨论了非平稳环境和具有连续动作的游戏中的策略学习。受遵循正则化领导（FTRL）和镜像下降（MD）更新思想的启发，其提出了用于连续动作任务的无遗憾式强化学习算法PORL，而不是经典的奖励最大化机制。并证明了 PORL 具有最后迭代收敛保证，这对于对抗和合作游戏很重要。实证研究表明，在 MuJoCo 运动控制任务等静止环境中，PORL 的性能与软演员评论 (SAC) 算法相同，甚至更好；在包括动态环境、对抗性训练和竞争性游戏在内的非平稳环境中，PORL 在更好的最终策略性能和更稳定的训练过程方面都优于 SAC。

论文链接：https://arxiv.org/pdf/2208.09452.pdf

标题：AutoCAT: Reinforcement Learning for Automated Exploration of Cache Timing-Channel Attacks（康奈尔大学: Mulong Luo|AutoCAT：用于自动探索缓存时序通道攻击的强化学习）了解详情

简介：现代微处理器中积极的性能优化可能会导致安全漏洞。目前，发现缓存定时漏洞大多由人类专家执行。本文提出了 AutoCAT，这是一种使用强化学习 (RL) 发现缓存时序通道攻击的自动探索框架。AutoCAT 将缓存时序通道攻击表述为攻击者程序和持有秘密的受害程序之间的猜谜游戏，因此可以通过现代深度 RL 技术解决。AutoCAT 可以在不了解设计细节的情况下，在不同的攻击者和受害者配置下探索各种缓存配置中的攻击，还可以发现绕过已知检测和防御机制的攻击。特别是，AutoCAT 发现了 StealthyStreamline，这是一种能够绕过基于性能计数器的检测的新攻击，其信息泄漏率比针对真实处理器的最先进的基于 LRU 的攻击高出 71%。AutoCAT 是同类产品中第一个使用 RL 来制作微架构时序通道攻击序列，并且可以加速缓存时序通道探索以实现安全的微处理器设计。

论文链接：https://arxiv.org/pdf/2208.08025.pdf

标题：Reinforcement Learning to Rank with Coarse-grained Labels（犹他大学: Zhichao Xu|强化学习与粗粒度标签排序）了解详情

简介：排名是许多信息检索 (IR) 任务的核心。现有的使用深度神经网络 (DNN) 进行排序学习 (LTR) 依赖于细粒度标签，在实践中，细粒度标签的获取成本通常很高。与细粒度标签相比，粗粒度标签更容易收集，也更便宜。现有研究建议仅将粗粒度标签用于 LTR 任务。本文介绍了基于强化学习 (RL) 的 LTR 算法。与监督学习相比，RL 可以帮助训练 LTR 模型，几乎不依赖细粒度标签。为了研究基于 RL 的 LTR 算法在粗粒度标签上的有效性，本文实现了四种不同的 RL 范式，并对两个成熟的 LTR 数据集进行了广泛的实验。模拟粗粒度标签数据集的结果表明，虽然使用粗粒度标签来训练 LTR 任务的 RL 模型仍然不能胜过使用细粒度标签的传统方法，但它仍然取得了一些有希望的结果，并且可能对未来在 LTR 中的研究有所帮助 。

论文链接：https://arxiv.org/pdf/2208.07563.pdf

标题：Event-Triggered ADP for Tracking Control of Partially Unknown Constrained Uncertain Systems（华南理工大学: Shan Xue|用于跟踪控制部分未知约束不确定系统的事件触发 ADP）了解详情

简介：本文提出了一种事件触发的自适应动态规划（ADP）算法来解决部分未知约束不确定系统的跟踪控制问题。首先，构造增广系统，将不确定系统的最优跟踪控制问题的解转化为具有折扣值函数的标称增广系统的最优调节。采用积分强化学习来避免增强漂移动力学的要求。其次，采用事件触发的 ADP 实现，神经网络权重的学习不仅放松了初始允许控制，而且只有在违反预定义的执行规则时才执行。第三，跟踪误差和权重估计误差证明是一致最终有界的，并分析了执行次数下界的存在。最后，仿真结果证明了当前事件触发 ADP 方法的有效性。

论文链接：https://ieeexplore.ieee.org/document/9370002

标题：Differential Graphical Games for Constrained Autonomous Vehicles Based on Viability Theory（重庆大学&曼彻斯特大学: Bowen Peng|基于生存力理论的约束自动驾驶汽车差分图形游戏）了解详情

简介：本文提出了用于具有未知交换通信图的多车系统的最优分布式控制协议。将最优分布控制问题公式化为差分图形游戏，并基于生存力理论和强化学习技术寻求多人游戏的帕累托最优。生存力理论表征了广泛的约束非线性系统的可控性，其捕获域是所有初始状态的集合，其中存在使状态能够在有限时间内到达目标同时在到达目标之前保持在集合内的控制策略。可行学习区域的特点是强化学习。此外，捕获域的近似为学习者提供了先验知识。与现有的使用生存力理论来解决只有一个智能体的控制问题和只有两个玩家的微分博弈的现有作品不同，该生存力理论用于解决多智能体控制问题和多人微分博弈。分布式控制律由捕获域的近似和强化学习组成，分别在离线和在线计算。证明了强化学习中参数估计误差的收敛性，讨论了控制策略对微分图博弈帕累托最优的收敛性。

论文链接：https://ieeexplore.ieee.org/document/9380519

标题：Deep Reinforcement Learning With Quantum-Inspired Experience Replay（南京大学: Qing Wei|具有量子启发的经验回放的深度强化学习）了解详情

简介：本文提出了受量子计算启发的新型训练范式，用于具有经验回放的深度强化学习 (DRL)。与 DRL 中传统的经验回放机制相比，具有量子启发的经验回放(DRL-QER) 的 DRL 根据每个经验的复杂性和回放时间（也称为转换）自适应地从重放缓冲区中选择经验，以在探索和利用之间取得平衡。在 DRL-QER 中，转换首先以量子表示形式表示，然后对转换执行准备操作和折扣操作。在这个过程中，准备操作反映了时间差误差（TD-errors）与经验重要性之间的关系，同时考虑了折扣操作，保证了过渡的多样性。在 Atari 2600 游戏上的实验结果表明，DRL-QER 在大多数此类游戏上都优于最先进的算法，并提高了训练效率，并且也适用于基于内存的 DRL 方法。

论文链接：https://ieeexplore.ieee.org/document/9357477

标题：A model-based hybrid soft actor-critic deep reinforcement learning algorithm for optimal ventilator settings（上海工程技术大学: Shaotao Chen|一种基于模型的混合soft actor-critic深度强化学习算法，用于最佳呼吸机设置）了解详情

简介：呼吸机设置包含连续（例如，频率）和离散参数（例如，通气模式），这使得传统的基于强化学习(RL) 的方法难以处理此类问题。同时，有必要开发数据效率高的模型，以克服医疗数据不足的问题。本文提出了基于模型的混合soft actor-critic（MHSAC）算法，其基于经典的soft actor-critic（SAC）和基于模型的策略优化（MBPO）框架开发的。该算法可以根据患者生理信息的当前和预测状态学习连续和离散策略，数据效率高。结果表明，该模型显著优于基线模型，在 OpenAI Gym 模拟环境中实现卓越的效率和高精度。此模型能够解决混合动作空间问题，提高数据效率，加速收敛，可以生成实用的最佳呼吸机设置，最大限度地减少可能的医疗错误，并提供临床决策支持。

论文链接：https://www.sciencedirect.com/science/article/abs/pii/S0020025522009112

研究综述

标题：Reinforcement learning in spacecraft control applications: Advances, prospects, and challenges（意大利萨尼奥大学: Massimo Tipaldi|航天器控制应用中的强化学习：进展、前景和挑战）了解详情

简介：本文介绍并分析了基于强化学习 (RL) 的解决航天器控制问题的方法。考虑了航天器登陆天体的制导、导航和控制系统、星座轨道控制等应用。讨论了 RL如何解决设计具有高度自主机载能力的航天器和实施对系统不确定性和适应不断变化的环境具有鲁棒性的控制器（即 RL 智能体）的新兴需求。对于每个应用领域，RL 框架的核心元素（例如，奖励函数、RL 算法和用于 RL 智能体训练的环境模型）进行了讨论，旨在通过 RL 框架为航天器控制问题的制定提供一些指导。同时，还分析了 RL 在真实空间项目中的采用情况。识别和讨论了不同的开放点，例如，用于 RL 智能体训练的高保真模拟器的可用性。通过这种方式，提出了对未来研究的建议，旨在缩小学术界提出的解决方案与航天工业的需求/要求之间的技术差距。

论文链接：https://www.sciencedirect.com/science/article/pii/S136757882200089X

如果你正在从事或关注 强化学习研究、实现与应用，欢迎加入“智源社区-强化学习-交流群”。在这里，你可以：

• 学习前沿知识、求解疑难困惑

• 分享经验心得、展示风貌才华

• 参与专属活动、结识研究伙伴

扫描下方二维码，加入强化学习兴趣群。