基于强化学习的交通拥堵控制方法研究摘

基于强化学习的交通拥堵控制方法研究

摘要

由于汽车保有量的持续增长，交通拥堵问题已经成为世界各国城市发展中出 现的公共问题。单纯的基础设施建设能够在一定程度上缓解交通拥堵，但是会受 到成本、土地、时间等因素的制约。随着科技的发展，对交通环境所采集到的信 息越来越准确和全面，同时由于人工智能算法的不断研究与发展，如何智能地缓 解城市交通拥堵已经成为世界各国研究的重要课题。

强化学习常被用于交通控制策略的求解，并且能够取得较好的控制效果，但 在多路口的交通控制中，随着路口数量的增多，系统状态数量呈指数级别增长， 造成系统计算困难甚至得不到结果。分层结合控制是解决状态数量多的典型方法 之一，分层结构一般由两层组成，第一层为路口控制层，第二层为区域控制层， 区域由路口合并得到，区域合并结果的优劣将直接影响区域控制结果的优劣，因 此如何合理划分区域是利用分层结合控制必须考虑的问题。

在多路13的交通控制中，由于路口相互连接，对单个路13优化时会影响到其 相邻路13，因此，对路13的优化必须从全局的角度进行考虑，在保证全局最优的 情况下才能得到路口的具体控制动作。路13之间的协作控制转变为在考虑路13相 互影响的条件下如何求全局最优解的问题。针对以上两个问题，本文提出了改进 的分层结合控制方法，主要体现在以下两个方面：

首先，在分层结合控制中，区域控制层中的区域需要由路口结合而成，传统 的分区主要以距离为标准，将一定范围内的路13合并成一个区域，这种分区没有 考虑车流量变化的影响，不利于区域间的控制。本文提出了基于改进谱聚类算法 的动态路网分区方法，能够根据距离、车流量、信号周期等因素将相似度高的路 口合并到一个区域，并且能够根据车流量的变化进行区域调整，能够更好的为区 域层控制作好准备。

然后，将求解全局最优的问题转化为协作图的最优解求解问题，协作图是一 种节点之间有依赖关系的无向图结构，通过求解协作图的全局最优解进而得到路 13相互影响条件下的全局最优解，由于协作图计算量大，本文提出了基于训练剪 枝的变量消除法用于减少计算量。通过与普通分层结合控制方法仿真实验比较， 本文提出的改进的分层结合控制方法能够在路13数量多和交通流量大的情况下取 得较好的效果，证明了该方法的有效性。

关键词：强化学习；交通拥堵控制；分层结构；谱聚类；协作图；智能体

II

万方数据

工程硕士学位论文Abstract

工程硕士学位论文

Abstract

Due to the sustainable growth of car ownership，traffic congestion has become a worldwide public issue in urban development．Simple infrastructure can ease traffic congestion in a certain extent，but it may be restricted by cost，land，time，etc．With the development of science and technology，collecting information about traffic environment becomes more and more accurate and comprehensive．At the same time，

due to the continuous research and development of the artificial intelligence algorithm，

how to alleviate urban traffic congestion intelligently has become a hot topic of the research around the world．

Reinforcement learning is frequently used to get the traffic control strategies and

it can achieve good control effect．But in multi—intersection traffic control，with the increase of intersections number，the system state number increased exponentially, which can result in the difficulty of system calculation．Hierarchical control is one of the typi