台湾清华大学与Facebook再度攻破3D照片技术

台湾清华大学与Facebook再度攻破的3D照片技术，是基于单目RGB-D图像完成3D照片转换的新方法，着重改善了现有3D拍照中的模糊和不连续性问题，甚至可以还原出原图中被遮挡的部分物体和颜色。技术背景与演进早期技术：Facebook在2018年F8开发者大会上公布了3D照片研究，支持拥有“人像模式”的iPhone设备，通过双摄手机拍摄同一图像并计算深度信息，实现三维拍摄。2020年2月，Facebook公布了2D照片转3D效果的技术，适用于单摄像头手机，完全基于AI技术实现。最新研究：弗吉尼亚理工学院暨州立大学、台湾清华大学、Facebook近期公布的新方法，基于单目RGB-D图像完成3D照片转换，通过引入“图像修复模型”，采用上下分层内容感知形式，填充缺失部分的颜色和内容等细节，生成效果极为出色的3D照片。新方法的技术特点单张RGB-D转换：新方法通过单张RGB-D图像进行转换，利用深度学习得到深度图，并进行内容生成。图像修复模型：引入图像修复模型，采用上下分层内容感知形式，填充缺失部分的颜色和内容等细节，改善了图像缺失和边缘拉伸问题。运动视差展示：生成的3D照片可以通过标准图形引擎的运动视差来展示，效果出色。图像预处理与感知处理图像预处理：包括颜色和深度输入、使用双边滤波锐化、基于视差值检测不连续性、消除虚假差值并优化图像边缘深度。图像前后感知处理：采用LDI绘图算法，确定合成区域（如红色区域，宽度5个像素宽），以增强图像的层次感和深度感。效果对比与原有3D图像对比：原有3D图像可能存在图像缺失或边缘拉伸情况，而Facebook 3D照片也存在边缘模糊问题。新方法通过引入图像修复模型和优化算法，显著改善了这些问题。不同场景效果：新方法在2.5D视差、旧照片和Dolly Zoom场景下均表现出色，能够还原出原图中被遮挡的部分物体和颜色。日常场景效果：根据论文自身的说法，在日常场景的照片中，新方法和高性能3D拍摄技术效果基本接近。应用前景与局限性应用前景：新方法可直接应用到手机图片处理App中，甚至应用到短视频制作App等场景，对Facebook自身（包括旗下平台）的业务拓展也十分有利。同时，这些技术和过程的探索对未来AR/VR/全息时代三维信息产生、交互拥有重大意义。局限性：新方法要求输入图像必须带有深度信息（RGB-D图像），目前主要适用于双摄版iPhone机型，安卓设备的应用尚不确定。然而，随着多摄像头机型的普及和3D拍照方法的增多，这一局限性有望逐渐得到克服。