✦

最近爆火的ChatGPT 是由 OpenAI 开发的一种大型语言模型 (LLM) ，拥有超过1750亿个参数，特别是在自然语言处理（NLP）方面有着令人印象深刻的能力。ChatGPT的出现引爆各行各业，迅速催生出各种工程领域的应用场景。

那么，大型语言模型能否彻底改变我们处理交通系统的方式，创造智能交通领域下一个万亿规模的新机会？本文或许能给交通界提供一些创新性的思考。

✦

✦

近日，美国中佛罗里达大学Dr. Aty团队的郑欧博士，王冬冬博士，博士生王子衿和丁圣轩在arxiv发表了题为“ChatGPT is on the horizon: Could a large language model be all we need for Intelligent Transportation?”的文章，该文章不仅展望了 LLM 驱动ITS未来的应用场景，还提出了一个基于智能手机的事故报告自动生成框架。

图1. Arxiv论文

该文章讨论了NLP 和跨模式处理模型在ITS中的潜在应用。以关键词或交通场景的叙述为输入，输出包括场景理解、事件推理、场景构建等任务。

通通

听起来是不是很酷？

还等什么，一起一探究竟吧！

邦邦

自然语言处理在交通中的应用

1

自然语言推理（NLR）

大型语言模型（LLM）可以高效地提炼一份简洁、专业、易于阅读的事故摘要，包括事故场景、驾驶行为和事故结果等。此外，LLM 训练可以学习复杂的理解和推理技能，根据新闻报道进行事故定损、事故归因、公众评论分析，有助于进行事故评估。

图2：使用 LLM 从加州事故新闻中提取自动驾驶车辆事故的文本挖掘示例

2

自然语言生成（NLG）

NLG在文本生成方面具有出色的流畅性和逻辑推理能力，可以解决交通事故报告中描述生成和关键字缺失填充等挑战。

图3：NLG根据关键字生成事故报告的应用示例

交通中的LLM跨模式处理

此外， LLM 可以使用来自不同模态（例如图像、音频）的数据来完成这些任务。NLP分析和处理来自传感器、相机和物联网设备等非语言来源的数据，这对于开发包罗万象的 ITS 至关重要。

1

视觉语言转换

通过NLR和NLU可以更全面的理解交通场景，通过提供视觉输入的信息来协助道路使用者和交通管理中心理解交通场景，在 ITS 领域具有广泛的现实应用。

图4：应用 BLIP-2 框架的 VQA 示例

2

视觉反事实推理

LLM 可以成功应用于识别行人通过十字路口的动作意图，预测行人后续行动，在一系列交通领域具有重大前景应用程序，例如自动优化行人信号时间以适应实时行人和交通流量数据。

图5：十字路口行人过街按钮的 VCI 示例

3

视觉数据生成

受益于 LLM 和语言-视觉跨模态可迁移性的进步，可以将语言描述生成为虚拟图像，可以应用于训练自动驾驶汽车的环境感知模型、基于 CCTV 事故检测生成可靠的合成训练样本，从而解决实践中事故场景训练样本不足的问题。

图6：合成训练样本的图像生成案例

4

音频语言转换

从音频到感官理解，语音识别模型在提高交通安全性能方面也提供了广泛的应用，特别是其检测异常交通事件的潜力。例如，可以为驾驶员开发道路上潜在风险或危险的警报系统。

图7：语音输入感知处理案例

5

多模态大型语言模型的新兴交通应用

文章提出了一个基于智能手机的事故报告自动生成框架。该框架提取手机传感器捕获的多个数据源，然后将数据传输到语言空间进行文本挖掘、推理和生成，并进一步输出形成综合事故报告所需的关键信息。

图8：MMLLM在交通领域的应用

总结

论文探讨了大型语言模型（LLM）在解决关键交通问题方面的未来应用。利用 LLM 和跨模态编码器，智能系统可以通过单个 LLM处理多模态输入变量，结合通过跨模态处理，研究了其在ITS中的潜在应用。

尽管有潜在的好处，但在ITS中使用 LLM 时也需要考虑一些挑战，这些包括与数据隐私、数据质量和模型相关的问题。

总的来说，LLM 在ITS中的使用，代表了未来交通应用的一个充满希望和令人兴奋的发展方向。随着技术的不断进步，可以探索大型语言模型在交通领域的应用，期待看到更高效、智能、个性化和可持续的交通系统。

论文链接：

https://doi.org/10.48550/arXiv.2303.05382

点击阅读原文即可跳转至paper

TRAFFIC ZONE

往期作品集

就业 秋招经验 求职招聘

数据集 深造求学 期刊会议

课题组介绍 交通出路 交通政策

交通知识 书籍推荐