A Survey on Multimodal Large Language Models for Autonomous Driving

最新推荐文章于 2025-03-04 16:55:08 发布
最新推荐文章于 2025-03-04 16:55:08 发布
阅读量517 收藏
点赞数 4
分类专栏： Survey Paper 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/135216358
版权
Survey Paper 同时被 2 个专栏收录
261 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
828 篇文章

已下架不支持订阅

本文深入探讨了大型语言模型（LLM）和多模态语言模型（MLLM）在自动驾驶领域的应用，分析了MLLMs的发展、自动驾驶的历史，以及在驾驶、运输和地图系统中的工具。研究总结了LLVM-AD研讨会，提出了未来该领域需要解决的关键问题，为研究人员提供了丰富的资源，以推动MLLMs在自动驾驶中的进步。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《A Survey on Multimodal Large Language Models for Autonomous Driving》的翻译。

自动驾驶多模态大语言模型研究综述

摘要

随着大型语言模型（LLM）和视觉基础模型（VFM）的出现，受益于大型模型的多模态人工智能系统有可能像人类一样感知现实世界、做出决策和控制工具。近几个月来，LLM在自动驾驶和地图系统中得到了广泛关注。尽管其潜力巨大，但仍缺乏对LLM驾驶系统应用的关键挑战、机遇和未来努力的全面了解。在本文中，我们对这一领域进行了系统的研究。我们首先介绍了多模态大语言模型（MLLMs）的背景、使用LLM的多模态模型开发以及自动驾驶的历史。然后，我们概述了用于驾驶、运输和地图系统的现有MLLM工具以及现有的数据集和基准。此外，我们总结了第一届WACV自动驾驶大型语言和视觉模型研讨会（LLVM-AD）的工作，这是第一次关于自动驾驶中LLM的研讨会。为了进一步推动这一领域的发展，我们还讨论了在自动驾驶系统中使用MLLMs需要学术界和工业界共同解决的几个重要问题。论文集可以在Awesome Multimodal LLMAutonomous Driving找到。

1 引言

了解本专栏 订阅专栏 解锁全文 超级会员免费看
A Survey on Multimodal Large Language Models
c_cpp_csharp的专栏
07-04 1361
多模态大语言模型（MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。MLLM令人惊讶的新兴能力，如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。在本文中，我们旨在追踪和总结MLLM的最新进展。首先，我们提出了MLLM的公式，并阐述了其相关概念。然后，我们讨论了关键技术和应用，包括多模式指令调整（M-IT）、多模式上下文学习（M-ICL）、多模态思想链（M-CoT）和LLM辅助视觉推理（LAVR）。
51-2 万字长文，深度解读端到端自动驾驶的挑战和前沿
AIgraphX
02-19 3779
自动驾驶社区见证了采用端到端算法框架的快速增长，这些方法利用原始传感器输入来生成车辆运动规划，而不是专注于检测和运动预测等单个任务。我们对250多篇论文进行了全面分析，深入研究了几个关键挑战，包括多模态、可解释性、因果混淆、稳健性和世界模型等，还讨论了大模型和视觉预训练的当前进展，以及如何将这些技术纳入端到端的自驾框架。
【综述论文阅读】A Survey on Multimodal Large Language Models 上
weixin_46231495的博客
03-04 951
综述又来啦，这篇综述24年的，来自1 中国科大科技学院、认知智能国家重点实验室2 腾讯优图实验室并建立了github项目指令（Instruction）是指任务的描述。直观来看，指令微调的目标是教会模型更好地理解用户的指令并完成所要求的任务。通过这种方式，LLM可以通过遵循新指令泛化到未见过的任务，从而提升零样本性能。
A Survey on Multimodal Large Language Models论文解读
qq_61786525的博客
10-13 1696
指令：指任务的描述。指令调整目的：教导模型更好地理解用户指令并完成要求任务，从而使模型能够通过遵循新指令来泛化到未见任务，提高零样本性能。与相关学习范式比较：与监督式微调和提示工程相比，指令调整学习如何泛化到未见任务，而不是拟合特定任务。对齐调整通常用于需要模型与特定人类偏好对齐的场景，例如减少幻觉（hallucinations）的响应。目前，强化学习与人类反馈（RLHF）和直接偏好优化（DPO）是对齐调整的两种主要技术。
【论文阅读】A Survey on Multimodal Large Language Models
qq_58400270的博客
10-22 1526
多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLM）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无ocr的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和llm辅助视觉推理（LAVR）。
a survey on multimodal large l
最新发布
03-14
一篇重要的综述文章《A Survey on Multimodal Large Language Models for Autonomous Driving》详细探讨了这一领域的进展及其挑战[^2]。该文章不仅涵盖了自动驾驶技术的发展历程，还分析了多模态语言模型如何逐步...
VLM视觉语言大模型在智能驾驶中的应用
yuanl15的博客
09-05 4128
即带条件的目标检测，用语言指示模型识别图像中特定目标。和Object Referring相比，Object Referring Tracking会根据自然语言描述在连续帧中对目标进行跟踪。开放式3D目标检测，利用VLM的zero-shot能力检测场景中在白名单之外的目标类型。交通场景视觉问答，这需要vlm的高维场景理解能力。自动驾驶领域的问答可以划分为感知、规划、空间推理、时序推理、因果逻辑推理。感知问题可以用来识别交通参与者，如外观描述、存在性、数量、状态等。
A Survey on Multimodal Large Language Models综述
机器学习，深度学习
07-16 1551
近期，以GPT-4V为代表的跨模态大型语言模型（MLLM）成为研究热点，它利用强大的大型语言模型（LLM）作为大脑执行跨模态任务。MLLM展现出如基于图像创作故事、OCR-free数学推理等令人惊讶的能力，这在传统跨模态方法中极为罕见，预示着通往通用人工智能的潜在路径。为此，学术界和产业界都在努力开发能与GPT-4V竞争甚至更好的MLLM，以惊人的速度推动研究极限。本文旨在追踪和总结MLLM的近期进展。
【多模态LLM】A Survey on Multimodal Large Language Models 学习笔记
kaka03200的博客
09-11 958
多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLMs）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和大语言模型辅助视觉推理（LAVR）。
大型语言模型综述，非常详细，格局打开！A Survey of Large Language Models
大模型天花板
04-18 9249
从图灵测试开始讲起，人类一直在探索用机器掌握语言智能的方法。在过去20年，语言模型得到了广泛研究。从统计语言模型到了基于神经网络的语言模型（LSTM等）。最近这些年，通过在大规模语料库（数据集）上对Transformer模型的预训练，提出了预训练语言模型（PLMs），在解决各种自然语言处理（NLP）任务方面显示出了很强的能力。
论文阅读-《A Survey of Large Language Models》
Yogurtboyyy的博客
06-08 1935
LLM综述论文
多模态大语言模型综述来啦！一文带你理清多模态关键技术
夕小瑶科技说
06-30 1238
随着 ChatGPT 在各领域展现出非凡能力，多模态大型语言模型（MLLM）近来也成为了研究的热点，它，可以执行各种多模态任务。更让人感慨的是，，比如能够根据图像创作故事，无需 OCR 的数学推理等，这为实现人工智能的通用智能提供了一条潜在路径。也不乏有全面和前沿的综述出现，本文作者的目标是追踪和总结 MLLM 的最新进展。介绍了 MLLM 的并对相关概念概述，还深入讨论了。同时，他们也指出了当前研究中，并提出了一些有前景的。
中科大腾讯发布首篇《多模态大语言模型综述》
我爱计算机视觉
06-28 1389
关注公众号，发现CV技术之美项目链接(实时更新最新论文，已获1.8K Stars)：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models近来，多模态大语言模型(Multimodal Large Language Model，MLLM)受到广泛关注，成为一个新兴的研究热点。MLLM通常以大语言模型(Large Lang...
全面了解多模态大语言模型 Multimodal Large Language Models，首个跟踪 MLLM 进展的论文集合...
我爱计算机视觉
06-02 1814
关注公众号，发现CV技术之美论文集合链接地址：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models大语言模型 Large Language Models（LLM）强大的泛化和推理能力给计算机视觉领域带来了很多灵感和启发，从而开辟出多模态大语言模型 Multimodal Large Language Models（ML...
【论文解读系列】MLLM研究综述
JackCrum的博客
07-02 1836
多模态大语言模型(Multimodal Large Language Model, MLLM)是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。MLLM令人惊讶的突发能力，如基于图像编写故事和无ocr数学推理，在传统方法中是罕见的，这表明了人工通用智能的潜在途径。在本文中，我们旨在追踪和总结最近的进展mllm。首先，我们提出了传销营销的概念，并对其相关概念进行了描述。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值