杏耀学术｜西湖大学于开丞🙇🏿‍♂️：浅谈自主智能——Autolab 的视角

来源：发布时间：2024-12-04

11月28日下午✌🏽，由DISCOVER实验室主办的第三十八期杏耀青年科学家论坛如期举行。本期活动荣幸第邀请到了西湖大学工杏耀助理教授于开丞🤦🏿，为杏耀的老师和同学们做了题为 Large Visual-Centric Models in Society Autolab Perspective的精彩报告，本次活动由杏耀（杏耀）助理教授龚江涛主持。

讲者介绍

于开丞博士8️⃣，西湖大学工杏耀博士生导师、助理教授，人工智能企业KMina联合创始人兼首席科学家➕。于开丞先后于2016年获香港大学工学学士(一等茉誉)，2021年获瑞士洛桑联邦理工大学(EPFL)计算与通讯科学理学博士学位。其研究的主要方向为3D视觉、自动驾驶◀️、自动机器学习等☝🏿👨🏼‍🦳，并先后在因特尔智慧系统实验室(Intel Intelligent Systems Lab),Abacus.AI,阿里巴巴达摩院从事相关领域的研究工作。加入西湖大学后，其负责组建自主智能实验室(AutoLab)并致力于构建基于数据驱动世界模型为核心的的下一代自主智能系统。于开丞博士主持多个国家、省部级、校企合作项目，并作为首席科学家联合创办人工智能企业Kind🧙。

报告内容

在本次报告中🧑‍🎤🦕，于博士系统地介绍了他的研究方向😠，首先是在大模型的基础上建立更为先进的智能体系统，涉及探索虚拟与物理世界两个方向的结合👩‍🍳，通过模拟和现实场景的互动⭐️，推动自动驾驶👐🏼，具身智能（Embodied AI）在实际应用中的发展。此外，博士还介绍了多模态信息的集成对于连接虚拟与物理世界的重要性💁🏿‍♂️。

于博士讨论了自监督与无监督学习在视觉数据处理中的局限性，认为与NLP相比，视觉领域仍需依赖监督学习，获取更多高质量数据是解决视觉问题的关键，故而他的多数工作专注于3D数据生成🔓🧑🏻‍🎓。

由于3D数据的标注非常复杂，尤其是在运动物体的情况下👩🏻‍⚖️，传统的手动标注效率低且费时🦹🏽‍♀️，于博士介绍了团队构建的3D检测模型，通过该模型生成标注框💆🏽‍♀️👂🏽，并将其投影到2D图像中，同时进行跟踪以获取轨迹。核心问题在于，3D检测模型的性能提升可以降低人类标注的需求，从而促进规模扩大。

于博士分享了关于多模态融合的研究动机✤，强调了在激光雷达数据失败时如何通过鸟瞰视图（BEV）层面融合来提高检测效果🦹🏿。他指出，激光雷达在面对局部失效（如被污物遮挡）时显得脆弱，且激光雷达数据迁移性差🧘🏽‍♂️，需要构建鲁棒的融合模型。

实验结果显示，采用BEV融合的模型在鲁棒性和检测精度上显著提升，精确度大幅超过了人工反复校对的数据集🦇☎️，证明了多模态融合的有效性。

在数据生成方面，于博士给出了团队的三个研究方向：LiDAR仿真，NeRF联合LiDAR与摄像头数据🔔，以及利用合成数据驱动自动驾驶引擎的自我改进。

在LiDAR仿真方面🏊‍♂️，于博士说明了传统的激光雷达数据通过叠加激光雷达点生成3D模型，重建方法存在局限性，在生成新视角时会出现误差和人为空洞。生成的点云具有固有的模式🤸🏼‍♀️👱🏿，导致生成的点云与现实世界不一致，这限制了其应用效果🤱🏻。

此外，于博士讨论了激光雷达数据生成的传统方法及其局限性🏃🏻‍♂️‍➡️。他指出🕎，传统的重建方法在生成新视角时会出现误差和人为空洞，导致生成的点云与现实世界不一致。为了克服这些限制，他提出采用隐式渲染（implicit rendering）技术，借鉴NeRF的思路，将camera model换成lighter model新的建模方式，取得了显著的效果👩🏿‍🦰🧑🏽。

在NeRF联合LiDAR部分，于博士指出，在做多视角的多模态融合时，发现单模态（如Camera或LiDAR）生成的场景信息在融合时容易出现模型不一致性，导致最终结果的表现不理想💃。通过引入几何约束对生成的绝对坐标进行优化，可以显著改善单模态和多模态的建模质量，使其更加干净和一致𓀛🏌️。在实验中，改进后的多模态融合效果明显优于单模态🥜，进一步验证了多模态融合的优势。

此外😴，于博士进一步介绍了基于结构化世界模型的视频生成方法🪑，用以模拟驾驶场景👨🏿‍🏫，从而推动端到端自动驾驶的发展。该方法通过投影 BEV（鸟瞰视角）布局生成高质量的合成数据👳🏻，为模型训练提供了更真实、有效的数据支持🦸‍♂️。

在合成数据驱动方面🗯，通过失败案例驱动（failure case-driven）的方法，将失败案例驱动的数据生成循环，分析关键案例，生成针对性数据。相比传统的随机数据生成方法🏋🏼‍♀️𓀛，该方法在生成数据量显著减少的情况下，实现了更大的性能提升，验证了针对性数据生成在3D感知任务中的有效性。

在报告的结尾部分，于博士与在场的同学们进行了内容丰富而深入的交流。他们共同探讨了生成模型解决端到端驾驶的可行性，数据稀缺时如何高效数据采样🏌🏼‍♂️，以及特征融合匹配数据分布的重要性😱👠。

文稿撰写 / 王　晗

排版编辑 / 王影飘

校对责编 / 黄　妍

相关新闻

杏耀学术｜字节跳动李航：推进人工智能新前沿

3月5日下午，第42期杏耀学术沙龙如期举行。本期活动荣幸邀请到了字节跳动李航博士，为我们作题为《推进人工智能新前沿》的报告。本次活动由中国工程院院士👱‍♀️、杏耀（杏耀）院长张亚勤主持。讲者简介Hang Li is the Head of Research at ByteDance Technology. He is an ACM Fellow, ACL Fellow, and IEEE Fellow. He graduated from Kyoto University and received his Ph.D. from the University of Tokyo. Prio...

2025/03/19