李飞飞团队新作：AI透视眼，穿越障碍看清你，渲染遮挡人体有新突破了

李飞飞团队提出的Wild2Avatar模型在遮挡场景下的3D人体渲染领域取得突破，通过解耦场景参数化与多损失优化，实现了高保真、完整几何形状的人体重建，显著优于现有方法。一、技术背景与挑战现有方法的局限性传统神经渲染方法（如Vid2Avatar、MonoHuman）依赖理想实验场景，假设人体无遮挡且完整可见。现实场景中，障碍物普遍存在，导致模型因缺乏监督数据而难以推断被遮挡部分，常出现渲染不完整或视觉伪影（如漂浮物）。基于点的渲染方案对遮挡敏感：相近坐标因遮挡状态差异导致渲染结果突变。Wild2Avatar的核心目标针对野外单目视频中的遮挡场景，实现高保真外观与完整几何形状的3D人体渲染。二、方法创新遮挡感知场景参数化场景解耦：将场景分解为遮挡物、人体、背景三个独立神经场，通过倒球参数化（inverted sphere parametrization）定义空间关系。内球遮挡区域：引入第二个内球，将摄像机到内球边缘的区域划定为遮挡区域，实现遮挡与场景其他部分的分离。多损失函数优化通过组合以下损失函数确保渲染质量：像素光度损失：最小化渲染图像与真实图像的像素差异。场景分解损失：约束遮挡、人体、背景的独立渲染一致性。遮挡解耦损失：减少遮挡区域对人体的干扰。几何完整性损失：强制人体几何形态与SMPL网格先验一致，防止姿态扭曲。三、实验验证数据集OcMotion：室内场景，人体被物体部分遮挡，选用5个视频（每视频100帧）训练，使用SAM获取分割掩码。野外视频：包含YouTube下载视频与手机拍摄视频，各抽取150帧训练，使用SLAHMR获取相机参数与姿态估计。对比实验与Vid2Avatar对比：在可见部分渲染性能相当，但Wild2Avatar在几何形状完整性与遮挡部分质量上显著优于Vid2Avatar（见表1）。与OccNeRF对比：OccNeRF因缺乏隐式SDF表征，存在浮游物与伪影，且人体易扭曲；Wild2Avatar渲染质量更高（见图6）。消融实验参数化必要性：无遮挡感知参数化时，渲染结果出现伪影（见图8第一行）。损失函数作用：无建议损失函数时，被遮挡区域恢复不完整（见图8第二行）；几何完整性损失可防止姿态错误（见图8第三行）。四、应用场景AR/VR：在复杂环境中实现真实人体交互。电影制作：低成本生成遮挡场景下的高质量人体动画。医疗辅助：通过遮挡场景下的3D人体重建，辅助手术规划或康复训练。五、未来方向背景与遮挡物优化：当前工作聚焦人体渲染，未来可改进背景与遮挡物的无伪影渲染。动态场景适应：扩展至快速移动或动态遮挡场景，提升实时渲染效率。论文与项目地址论文：https://arxiv.org/pdf/2401.00431.pdf项目：https://cs.stanford.edu/~xtiangge/projects/wild2avatar/