宋井宽：AI赋能——多模态大模子前沿及在汽车行业应用

专题：2025中国汽车论坛

　　2025年7月10-12日，2025中国汽车论坛在上海嘉定举办。本届论坛主题为“提质向新，智赢畴昔”，由“闭门峰会、大会论坛、技巧首级峰会、多场主题论坛、N场行业发布、主题参不雅行动”等15场会议和几出嫁套行动组成，各场会议围绕汽车行业热门重心话题，探索见识，引颈畴昔。其中，在7月12日上昼举办的“主题论坛八：智数赋能，‘智’检之谈——汽车测试赋能产业高质地发展”上，同济大学筹谋机学院辅导、“杰青面容取得者”宋井宽发表精彩演讲。

　　以下内容为现场演讲实录：

　　尊敬的诸君辅导，诸君嘉宾，大家上昼好！零散行运粗略受邀来到中国汽车论坛智数赋能，“智”检之谈的分论坛，粗略有契机跟大家共享和学习。

　　今天我陈述的题目是“多模态大模子前沿及在汽车行业应用”。接管这个题目是两个原因，当先荒谬契合今天分论坛的主题，智能赋能汽车测试，同期第二个原因多模态大模子咫尺长短常热门的征询话题，况兼在汽车领域有零散多的应用场景。刚刚咱们辅导叶总提到了多模态大模子要作念一个重心发展见识，今天陈述从以下两个方面：

　　第一先容多模态大模子和它的前沿进展。

　　第二先容各行业的具体应用案例。

　　当先什么是多模态大模子大家？它是一个粗略处理多种模态输入的AI模子，其中每个模态是指一种特定类型的数据，比如说图像、视频、文本、音频，可是如果汽车行业是各式传感器数据，也不错四肢不同模态输入。通过整合辘集上多模态的数据，从而不错完结类东谈主多模态感知、贯通，不错有望鼓舞筹谋机视觉在讲话处理等多领域的协同发展。不错说多模态大模子也曾从曩昔势必的发展趋势形成了已然的近况。因此右边列出了多模态大模子发展的里程碑事件，从2022年ChatGPT的横空出世，到自后的多模态版块的GPT-4V，以及到Sora，GPT-4o，以及国产Deepseek的出现，全体来说从2023年下半年运行大模子竞争全体从讲话大模子过渡到多模态大模子。

　　为什么多模态大模子能激发这样多行业温和，因为它在行业有许多应用场景。这里列出了一些，比如说Med-Gemini不错用于赋能医学会诊。Face大模子不错赋能东谈主机交互，通过数字东谈主神气。盘古大模子不错赋能工业行状，紫东太始大模子不错赋能法律，日日新不错用于金融行状场景。因此不错说多模态大模子正完结智能赋能千行百业。

　　先容这样多多模态大模子到底是什么？我这里列出了一个多模态大模子的技巧全景图，包括三个部分，最左边的数据，中间的技巧，右边的应用。数据包括各式模态数据的辘集，诚然还有很进击的小数是数据之间的关联，中间的技巧层上头的模态架构和底下的优化算法，是以模态架构也便是大模子长什么样，咫尺的架构相对比较固化了，基于Transformer各式各种的拼接。有了数据和架构怎么把参数学习出来？优化算法经过了多轮迭代，从早期的对比学习到咫尺的子回顾再到背面的掩码神气等，有了参数最终不错在各个场景进行应用，比如说用于多模态的对话，跨模态的生成，以及等下要讲到的具身智能的场景，这是全体的全景图。

　　为什么征询领域激发了这样多温和，一个很进击的原因是多模态大模子是完结通用东谈主工智能的必经之路，大家知谈通用东谈主工智能是筹谋机学科的逸想，要完结通用东谈主工智能必不成少要像东谈主通常感知贯通这个宇宙，比如说听觉、触觉、视觉等等，这些数据自然便是多模态的神气，要完结通用东谈主工智能必不成少要征询多模态大模子，也经验了一系列的发展历程，从早期各个模态的独处发展，大家可能听过以前的当然讲话处理，筹谋机视觉是独处发展的，当然讲话处理只处理翻译，交谈的任务。筹谋机视觉里征询分割识别等等，这些任务是独处发展的。刻下有了多模态大模子之后是把多种模态会通发展，咫尺一个新的趋势是把多模态大模子内部的进一步的集成和长入，把表露和生成任务进行长入。那么在畴昔想要进一步发展就需要和物理宇宙进行荟萃，探索征询宇宙模子，征询具身智能，最终完结通用东谈主工智能的最终指标。

　　这里列出了多模态大模子发展趋势，全体上从传统的任务驱动和预调的模式，转向咫尺的任务长入，推理增强和主动交互三个趋势我别离先容一下。

　　任务大家不知谈熟谙不熟谙，任务有两个界说，第一个长短常狭义的界说，当然讲话处理里翻译是一个任务，在筹谋机视觉里识别是一个任务，早期的时代不同模态之间的任务零散割裂，早期的时代任务不长入，有了多模态大模子之后不错把当然讲话，文本和图像放在一都处理，相对长入了一些，可是依然存在两个任务的割裂，一个是表露的任务，一个是生成的任务。表露是给你一张图像这个图像是什么类别，是什么内容，这个是表露。生成是给定一段话，我通过这段话生成一段图像和视频，很直不雅嗅觉到这两个长短常不通常的任务，是以之前多模态大模子四肢两个独处的分支来征询，而最新的后果逐步将这两个任务进行进一步会通，从而完结更高级次的任务长入，这是第一个趋势。

　　第二推理增强。以往的大模子平凡停留在给定一个输入，给出一个谜底这样的阶段，这样的存在什么问题对于复杂的场景，图文荟萃推理，几何题带图解的弘扬很差，因此又有新的征询不仅粗略给出这个谜底，还能给出得到谜底中间的推理历程，这个是所谓的推理增强。大家咫尺熟知的Deepseek取得很大的得手进击的原因是将推理引入了学习的进击历程，因此推理增强是第二个趋势。

　　第三个趋势是主动交互。刚刚提到AGI通用东谈主工智能是智能最终的逸想，你如果要完结通用东谈主工智能要和物理宇宙进行交互，因此多模态大模子要粗略在复杂环境中进行交互，像东谈主通常在现实宇宙中进行自主的步履和决策智商，这是咫尺发展的第三个趋势，典型的一个任务是咫尺大家平凡听到的具身智能的任务。

　　咱们团队在多模态大模子见识也有一些关联的征询使命，刚刚先容的一个是表露，第二个生成，第三个是安全这块。当先是表露这块，咱们主要温和这几个方面。

　　第一是以东谈主为中心的视觉分析。通用大模子针对的是通用场景，咱们这里更温和以东谈主为中心，东谈主体姿态的算计，东谈主的不同部位的识别等等这样的任务。

　　第二场景图生成。需要对它进行智能化、结构化处理就需要有一个很进击的技巧关节、技巧技能进行场景图生成，把一个零散复杂的多模态的数据形成要害字、名词相互关联的三元组的场景图神气，从而有用对他们进行有用经管和表露。

　　第三个见识是作念通用多模态大模子纠正。具体算法就不先容了。

　　第二个征询见识是生成这块。咱们团队的使命所谓生成给定一个输入，不错生成图像，生成视频和3D，底下是咱们团队所作念的使命，AIGC大家零散熟谙，等下会有一些具体的场景（展示）。关联使命就跳过了。比如说有一些故事的生成，图文音的生成等等。

　　第三个见识让AI具有学习和安全的智商。比如说有捏续学习，少样本学习和安全。安全零散意旨的使命是幻觉大家可能听过，大模子进行一册肃肃的瞎掰八谈，左边的图像描述有一只红色的狗，而这只狗并不是红色的，这便是幻想，咱们把柄这个提供相应的搞定有辩论，不错有用减少大模子幻觉的生成。

　　这些后果有一些关联的应用场景。1．通过关联构建跨域的推选系统，不错用在支付宝的场景，不错为用户推选优质居品，本色上欺骗用户的个东谈主信息和历史浏览记载等多模态的数据，从而不错更好进行居品匹配和推选。2．构建一个130亿多模态行业大模子。构建通用大模子很难和大厂进行竞争，是以构建行业大模子，主要用于像电网巡检，工业检测等关联场景，在12个基准测试机上达到了主流大模子的信任，取得了最佳的信任。3．咫尺是需求零散多的大模子土产货化部署，在智能法律的平台应用，需求是构建通告助理，法律助手，紧要决策补助等六个场景，上线之后咱们的业务处理效劳得到了极大普及，也入选了国资委首个法治大模子的标杆。这是推行的场景。

　　接下来先容一下汽车行业多模态大模子，更闲居小数东谈主工智能的应用场景。

　　福特公司的首席信息官说“东谈主工智能不仅对智能驾驶零散进击，而且在荡漾职工体验方面施展着越来越进击的作用”。同期在供应链风险识别和车辆预计性注意等方面也有应用，诚然只是是广大应用之一。沃尔沃公司的首席信息官也提倡“东谈主工智能不仅不错用于东谈主工驾驶，还不错用于其他各个方面，比如说汽车的制造和销售，以及创造新的客户和体验”。由此可见东谈主工智能在汽车行业得到了越来越多的温和。

　　我这里简便详细了一下东谈主工智能在汽车行业，尤其在汽车测试行业的应用场景，我是生人总结得不是很全面和准确，不准确的所在请大家品评指正，包括以下四个场景。

　　一、智能化场景生成和安全测试。等下底下的评释也揣测于生成式东谈主工智能，和这个关联。

　　二、预计性注意和健康经管。

　　三、角落智能和车联网。终末一个评释是对于车联网和智能驾驶的。

　　四、臆造测试和数字孪生。底下按序先容一下。

　　当先是AI驱动的自动驾驶安全自主测试系统。它是欺骗机器学习与仿真技巧，在臆造环境中大鸿沟、自动化、智能化地创建和实施汽车安全测试用例，以考据测试汽车安全性。本色上通过AIGC生成的模式粗略生成更多的测试用例，从而提高测试效劳，和传统的比较老本高，风险大，况兼测试掩盖不及，通过AIGC不错提高效劳，镌汰老本，加多它的测试用例掩盖率，况兼莫得任何物理风险。一个典型的例子是D2RL通过强化学习智能测试，已有的数据长短要害数据，非要害数据是正常情况，空泛导致事故的要害事件，针对这个问题的中枢念念路是识别况兼移除海量的非要害数据让模子从要害的安全事件中学习，这是所谓的要害事件的界说，界说了一系列的危境场景。比如说多智能体维度场景，通过强化学习的模式粗略识别况兼把要害场景界说出来，自动地检测出来，从而普及模子学习的效劳，最终普及模子的性能，这是通过东谈主工智能驱动的场景案例的自动识别。

　　第二个AIGC用于检测这块。从被迫确立到主动预警，通过AI模式预计分析并进行注意的模式。传统的模式可能更多的是当危境发生之后再去进行检测，存在一系列问题，比如说老本好意思丽，贫瘠猜度性，主要依赖辅导。通过AI提前预警，精确预计普及可靠性。这里有一个具体的例子，通过多元传感器数据最终进行主动预警，它的输入和之前的图像文本主若是汽车行业关联的数据，比如说曲轴转速，悬架振动等，通过多模态大模子最终进行最终预警，比如说故障等第，部件寿命预计等。另外一个是AI驱动汽车吊挂预警性注意，亦然通过悬架系统的信号输入和采集，通过多模态大模子进行注意决策和会诊、预后等一系列预计。

　　第三个场景是角落智能和物联网。一个零散典型的应用是智能驾驶，通过东谈主工智能和物联网的荟萃，东谈主工智能不错进行角落处理，五连物联网不错增强数据的辘集智商，把这两个相荟萃不错解脱对辘集的依赖，完结角落端的处理，从而更快更高速的反应。和传统的云表比较存在的问题比如说处理之后厚实性差，受资源法规等等。如果用角落端加上物联网的神气幸免一系列问题。刚刚提到了典型的应用是智能驾驶，有了东谈主工智能角落端处理加上车联网的智商从而赋予了汽车低延时的土产货决策智商，车联网不错提供杰出单车的广域感知智商，两者荟萃构建了安全高效自主驾驶的技巧基石。

　　第四是臆造宇宙的查验。仿真和数字孪生在汽车应用许多，通过数字孪生技巧创建车辆的高保真臆造模子，不错快速迭代，传统的关节存在老本高，测试场景有限，风险后置等一系列问题，仿真和数字孪生不错搞定相对应的问题。

　　典型的案例是基于数字孪生的智能电板经管系统，通过数字孪生创建电板的臆造模子，通过多模态大模子关联的技巧完结对电板的生命周期的精确监控，健康预计和智能限度，从而普及电动汽车安全性和续航智商。

　　以上便是今天陈述的主要内容，谢谢大家！

　　新浪声明：统统会议实录均为现场速记整理，未经演讲者审阅，新浪网登载此文出于传递更多信息之目的，并不虞味着赞同其不雅点或阐述其描述。

海量资讯、精确解读，尽在新浪财经APP

拖累剪辑：王翔