旷视研究院获 CVPR 2023 自动驾驶国际挑战赛 OpenLane Topology 赛道冠军
近日,为期三个月的 CVPR 2023 自动驾驶国际挑战赛比赛结果揭晓。旷视研究院在OpenLane Topology 赛道中击败 30 余支国内外队伍,夺得冠军。
自动驾驶技术已经渗透到人们的日常生活中,但是传统的感知方法仍不能满足大家对 L5 级自动驾驶的追逐。CVPR 2023 自动驾驶国际挑战赛将自动驾驶技术分为对背景场景的理解、对前景物体的感知和对未来运动的规划三方面,并举办了四个不同赛道的竞赛,希望选手们通过深入探讨自动驾驶感知决策系统面临的任务和挑战,提升自动驾驶的性能表现。
图片来源:Challenge at CVPR 2023 Autonomous Driving Workshop | OpenDriveLab
OpenLane Topology赛道赛题介绍
为了更好的实现自动驾驶场景理解,现有场景感知任务从车道线分割、检测发展到车道中心线检测,但是车道线和车道线之间、车道线和交通标志之间的逻辑关系仍然没有得到合理的建模。OpenLane Topology 比赛[1]要求以车道中心线取代以往数据集中的车道边缘线,结合车道间的拓扑关系,直接得到车辆行驶的轨迹。
此外,本次比赛用到的数据集——OpenLane-Huawei 数据集首次对交通标识和其对车道的对应关系进行了标注,使每条车道都拥有实时的交通属性,来指引车辆在当前车道上对未来的自车行为有合理的倾向。本次比赛以给定环视相机图片作为输入,参赛者需要同时给出车道中线和交通元素的感知结果及拓扑关系的认知结果。主办方将根据各参赛队伍提交算法的 OLS(感知结果和拓扑关系预测 mAP 的平均)进行排名。
旷视夺冠算法介绍
拓扑关系的预测依赖于车道中心线和交通元素的感知结果,因此对于车道中心线和交通元素的感知非常重要,我们分别采用了不同的模型来完成这两个感知任务。
对于车道中心线检测任务来说,不同于以往的 3D 车道线检测任务,3D 车道中心线在图像中往往没有明显的几何特征。3D 车道中心线的检测往往需要根据周边的 3D 车道线的位置关系进行判断,因此 3D 车道中心线的检测需要较大的感受野。我们对比了现有的 3D 车道线检测框架,最终选择了旷视自研的 PETRv2 框架[2]作为 baseline。在 PETRv2 中,lane queries 会通过全局注意力机制和图像特征进行交互,具有全局的感受野。这种交互方式可以兼顾局部的细节特征和整体的结构特征,有利于对 3D 车道中心线的预测。
对于交通元素的检测任务,考虑到以往比赛的经验,我们选取了 YOLO 系列最新的模型 YOLOv8 模型[3]作为我们的 baseline。相比其他 2D 检测方法,它拥有更快的速度,更准确的性能。
结合 YOLOv8 和 PETRv2,我们进一步搭建了一个多阶段的网络框架,并将其拓展到拓扑关系的预测中。首先,我们使用一个预先训练好的 YOLOv8 模型,通过和前向视角图像交互来进行交通元素的检测任务,并生成对应的交通元素特征。PETRv2 模型通过和多视角图像特征交互来生成 3D 车道中心线检测结果和对应的车道中心线特征。这样设计是为了尽最大限度保证 2D 检测的性能,同时实现交通元素特征与车道中心线特征的特征对齐。基于两个任务的特征,我们将对应的特征进行拼接,然后分别使用了两组多层感知机预测对应的拓扑关系矩阵。
最终,我们的团队MFV(Megvii-Foundation model-Video)在 OpenLane Topology 挑战赛中凭借 OLS 指标的显著优势取得了第一名。
https://opendrivelab.com/AD23Challenge.html#Track1
[1] Wang, Huijie, et al. "Road Genome: A Topology Reasoning Benchmark for Scene Understanding in Autonomous Driving." arXiv preprint arXiv:2304.10440 (2023).
[2] Liu, Yingfei, et al. "Petrv2: A unified framework for 3d perception from multi-camera images." arXiv preprint arXiv:2206.01256 (2022).
[3] https://github.com/ultralytics/ultralytics.
旷视研究院获 CVPR 2023 自动驾驶国际挑战赛 OpenLane Topology 赛道冠军相关推荐
- 旷视研究院获 IROS 2021 The HILTI SLAM 挑战赛冠军
近日,IROS 2021 The HILTI SLAM 挑战赛公布了竞赛结果,旷视研究院荣获此次挑战赛的冠军.这是继去年包揽 CVPR 2020 SLAM 挑战赛全部赛道的冠军后,旷视研究院再次获得顶 ...
- 旷视研究院夺得 NeurIPS 2021 ML4CO 组合优化比赛 Dual task 赛道第一
近日,顶级国际会议 NeurIPS 的 The Machine Learning for Combinatorial Optimization(以下简称:ML4CO) 组合优化比赛结果揭幕,来自旷视研 ...
- CVPR 2019 | 旷视研究院Oral论文提出GeoNet:基于测地距离的点云分析深度网络
全球计算机视觉三大顶会之一 CVPR 2019 (IEEE Conference on Computer Vision and Pattern Recognition)将于 6 月 16-20 在美国 ...
- 【CVPR2021】旷视研究院入选学术成果盘点
转自:旷视研究院 在CVPR 2021中,旷视研究院共入选论文22篇,其中Oral论文2篇,研究领域涵盖激活函数.神经网络.神经网络架构搜索.光流估计.无监督学习.人体姿态估计.目标检测等. 本篇推文 ...
- 法向量 点云pca_CVPR 2019 | 旷视研究院Oral论文提出GeoNet:基于测地距离的点云分析深度网络...
全球计算机视觉三大顶会之一 CVPR 2019 (IEEE Conference on Computer Vision and Pattern Recognition)将于 6 月 16-20 在美国 ...
- CVPR 2019 | 旷视研究院提出新型损失函数:改善边界框模糊问题
全球计算机视觉三大顶会之一 CVPR 2019 (IEEE Conference on Computer Visionand Pattern Recognition)将于 6 月 16-20 在美国洛 ...
- CVPR 2020 Oral | 旷视研究院提出双边分支网络BBN:攻坚长尾分布的现实世界任务...
IEEE 国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition) 将于 6 月 14 ...
- CVPR 2019 | 旷视研究院提出Re-ID新方法VPM,优化局部成像下行人再识别
全球计算机视觉三大顶级会议之一 CVPR 2019 将于当地时间 6 月 16-20 日在美国洛杉矶举办.届时,旷视研究院将带领团队远赴盛会,助力计算机视觉技术的交流与落地.在此之前,旷视每周会介绍一 ...
- CVPR 2020 | 旷视研究院探究优化场景文字识别的「词汇依赖」问题
IEEE国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition) 大会官方论文结果公布 ...
最新文章
- 125万奖金!“中国GPT-3”赛事来了
- 使用Django开发REST 接口
- 关于sam9x60板卡的调试
- 《Effective Java 2nd》第4章 类和接口
- iOS开发学无止境 - 异步图片加载优化与常用开源库分析
- TFS2010迁移后Web工作项访问提示:error HRESULT E_FAIL has been returned from a call to a COM component....
- python中布尔类型是特殊的_Python中的特殊方法以及应用详解
- js处理倒计时,日期可以是当前日期也可以传1个时间点
- IntelliJ IDEA 远程deBug jar包
- 【超参数寻优】交叉验证(Cross Validation)超参数寻优的python实现:多参数寻优
- Spring Boot 之 RESRful API 权限控制
- 11. 禁止异常(exceptions)流出destructors之外
- 谁手握账本?趣讲 ZK 的内存模型
- WORDNET与HOWNET之比较
- 关于尚硅谷视频p135配置完yarn-site.xml的硬件资源配置后
- 宫颈癌预测--随机森林
- 金丹期前期:1.11、python语言进阶-网络
- 华为鸿蒙OS正式发布!教你如何升级
- 什么是服务器并发量?并发量如何计算
- 泰拉瑞亚服务器一直显示什么,《泰拉瑞亚》Steam联机总是掉?教你一个稳定联机方法...