李飞飞团队实现“隔空建模”，透过遮挡物还原完整3D人体模型

李飞飞团队新工具Wild2Avatar（W2A）实现了“隔空建模”，即使在有遮挡物的情况下，也能构建出完整的3D人体模型。只需一段4秒左右的单角度视频，W2A即可构建出准确且立体的3D模型，显著优于先前的顶尖技术。 与基准方法Vid2Avatar相比，W2A在建模效果上明显胜出。Vid2Avatar只能大致描绘出人体轮廓，且遮挡物直接被“拍扁”到人物身上，轮廓不够准确。而W2A不仅轮廓精确，立体感更强，更重要的是，遮挡物被完美去除，完整地显现了人物结构。W2A在去除遮挡物的操作上更为彻底，没有留下多余痕迹，且在结构完整性上超越了基准方法。 与另一基准OccNeRF相比，W2A仅需100帧的训练视频就能复原出完整干净的结构，而OccNeRF用了500帧后不仅结构缺陷明显，还存在许多“鬼影”。在测试数据中，W2A在陌生场景下的提取质量和完整性（comp.）哪槐此比V2A有所提升，特别是对遮挡部分的合成质量得分接近翻番。与OccNeRF相比，W2A在整体成绩上接近，但在遮挡部分有明显增强。 实现这一技术的关键在于，W2A将整个场景分成了遮挡物、人物本体和背景三部分，并由独立的NeRF网络分别预测特征，渲染图像时再将三个部分的输出拼合。此做法旨明困在避免遮挡物被误识别为人体部分。W2A通过将图像映射到球空间，利用内部采样点的坐标和距离构造遮挡空间，并预测遮挡空间样本点的颜色和密度值。同李迅时，使用SMPL参数化方式处理人体部分，通过正向和反向皮肤拟合，先将人体变形到姿态不变的坐标空间，再输入神经网络进行学习。此外，李飞飞团队设计了新的损失计算方式，包括遮挡解耦损失Locc，以增强任务模型的完整性，通过与像素重构损失、场景分解损失等其他损失参数一同纳入到网络的端到端训练过程，优化更新网络参数。