本报记者 科技前沿报道 在人工智能与计算机视觉领域,三维场景重建一直是通往高沉浸感虚拟世界与智能机器人自主导航的核心技术。然而,传统方法往往受限于静态数据集的离线处理,难以应对实时流式数据的动态需求。近日,一支国际联合研究团队正式发布了一款名为 Lingbot-map 的3D基础模型,该模型首次实现了从流式数据(如视频流、传感器连续帧)中高效、精准地重建三维场景,标志着“所见即所得”的实时3D理解迈入全新阶段。

从“离线拼图”到“在线构建”的技术跃迁

过去几年,以NeRF(神经辐射场)和3D高斯溅射为代表的隐式/显式场景表征技术取得了显著突破。但这些方法通常需要预先收集大量视角图像,经过数小时乃至数十小时的训练才能生成一个高质量的静态场景模型。一旦数据源变为不断涌入的实时流——比如自动驾驶车辆上的摄像头、机器人的深度传感器,或AR眼镜的前置摄像头——传统模型便因计算开销大、无法增量更新而难以为继。

Lingbot-map 的核心突破正在于此。据研究团队介绍,该模型设计了一个全新的“流式场景编码器-解码器”架构,能够以帧为基本单元,在数据到达的瞬间完成特征提取、空间锚定与模型更新。“它不再把三维重建看作一次性的优化问题,而是看作一个持续学习的动态过程。” 项目负责人、知名计算机视觉专家张明远教授在接受本报独家采访时表示。

技术内核:三大创新引擎

Lingbot-map 之所以能够胜任流式场景重建,得益于其在网络结构、训练范式和推理效率上的三方面创新。

第一,时域感知的动态Transformer。 传统Transformer网络在处理序列数据时,通常为每一帧分配独立的位置编码,忽略了帧间的几何连续性。Lingbot-map 引入了一个“时空联合注意力模块”,将相邻帧的像素对应关系、光流信息和深度线索融合进自注意力计算中,使得网络能够自动识别场景中哪些部分发生了变化(如移动的物体),哪些部分保持静止,从而只对变化区域进行增量重建,极大节省计算资源。

第二,双分辨率在线学习策略。 为了平衡实时性(通常要求30 FPS以上)与重建精度,模型内部设置了“粗-精”两条处理流水线。粗糙分支以一个较低分辨率快速追踪场景的几何轮廓与语义类别(如墙面、地板、家具),而精细分支仅在用户感兴趣或决策关键的区域(如物体边缘、细小结构)激活。这种“注意力引导”的机制使得Lingbot-map 在消费级GPU上即可达到每秒25帧以上的重建速率,同时保持毫米级的定位精度。

第三,自监督的漂移校正模块。 流式重建最头疼的问题之一是累积误差——随着时间推移,模型对场景的估计会逐渐偏离真实。Lingbot-map 设计了一个轻量级的闭环检测网络,每隔若干帧便自动回溯历史数据中的关键帧,通过特征匹配进行全局位姿图优化,有效将长期漂移控制在1%以内。这意味着即便连续运行数小时,模型依然能够输出几何一致的场景地图。

应用前景:从自动驾驶到混合现实

Lingbot-map 的发布迅速引发了工业界与学术界的广泛关注。其最直接的应用场景是自动驾驶。当前自动驾驶汽车的感知系统依赖于预先构建的高精地图,但面对施工区域、临时路障等动态因素,预先地图往往力不从心。Lingbot-map 能够实时将车辆摄像头捕获的流式画面转化为局部三维地图,并与全局地图无缝融合,使车辆像人类驾驶员一样“边看边学”。

机器人领域,Lingbot-map 让服务机器人在陌生环境中不再需要反复扫描建图。它们可以在行走过程中即时构建环境模型,并精准识别门、楼梯、桌面等交互元素。研究团队在测试中让一台搭载Lingbot-map的双足机器人在办公室内自主导航,结果显示,该机器人在一次遍历后即可避开99%以上障碍物,且在动态人员走动时仍然保持稳定。

混合现实(MR) 被认为是另一个爆发点。当前的MR设备(如Apple Vision Pro)需要依赖外部传感器或事先扫描来提高虚实融合精度。借助Lingbot-map,设备只需通过自身摄像头看到的连续画面,就能在毫秒级别生成与真实空间精确对齐的3D数字孪生。未来用户戴上眼镜走进一间陌生房间,看到的不仅是真实的家具,还能“叠”上虚拟的装修方案或互动应用,实现真正的空间计算。

开放与展望

值得关注的是,研究团队已在GitHub上公开了Lingbot-map的预训练模型和部分基准测试代码,任何人都可以基于其基础架构进行二次开发。团队同时表示,下一步将致力于减少模型对GPU显存的依赖,使其能够在移动端芯片(如高通Snapdragon)上高效运行。

“流式数据是AI感知世界的自然形态,Lingbot-map证明了我们可以用基础模型的方式一次性解决很多下游问题。”张明远总结道,“这或许是通往通用3D智能的重要一步。”

随着Lingbot-map的开源和持续迭代,我们有理由相信,实时、动态、高精度的三维世界理解将不再是少数实验室的专利,而会成为支撑未来智能生活的基础设施。本报将持续关注该技术的后续进展。■