Talk｜北京大学于博涵：EventPS - 基于事件相机的实时光度立体视觉

北京大学于博涵在TechBeat人工智能社区分享了“EventPS - 基于事件相机的实时光度立体视觉”主题内容，该工作首次利用事件相机实现实时光度立体视觉，获CVPR 24最佳论文提名。Talk核心内容背景：光度立体视觉通过分析不同方向照射物体的图像序列来估计物体表面法线，能重建出高分辨率和精确细节的三维形状。但传统基于帧相机的光度立体视觉数据采集复杂耗时，需捕获多曝光图像合成高动态范围图像，难以满足动态目标实时三维重建需求。事件相机具有高时间分辨率、高动态范围和低带宽要求的特点，为实时性要求高的计算机视觉任务提供了有效数据获取方式。理论模型：从朗伯反射模型和事件相机数学模型出发，推导出与表面法线最相关的“零空间向量”。实时算法：展示使用基于SVD的求解算法在各种物体上的实时性能，配合自研高速转台搭建的数据采集系统和经GPU优化的算法，实现超过30帧每秒的实时表面法线重建。深度学习扩展：将现有深度学习光度立体视觉框架扩展到EventPS版本，适应一般反射率模型。相关资源EventPS项目主页：https://www.ybh1998.space/eventps，包含数据、代码、装置的3D打印文件，以及CVPR现场15分钟Oral录像。本项目得到国家自然科学基金重点项目资助。实验室主页：https://camera.pku.edu.cn/，北京大学相机智能实验室由施柏鑫老师带领，致力于计算摄像学研究。承担科技创新2030——“新一代人工智能”重大项目以及国家自然科学基金重点项目等国家级项目，发表论文200余篇（包括TPAMI论文25篇以及计算机视觉三大顶会论文85篇）。实验室出版教材：https://camera.pku.edu.cn/book，《计算摄像学：成像模型理论与深度学习实践》（机械工业出版社，2024年6月上市），以图像的物理形成过程和相机获取数字图像的原理为支撑，介绍计算摄像学中的基本问题、模型、理论及其用传统最优化、信号处理方法的解决方案，还介绍了深度学习和计算摄像问题的结合与应用。嘉宾介绍于博涵：北京大学21级博士生，导师施柏鑫老师，本科毕业于北京大学图灵班（CS方向）。目前从事事件相机和逆渲染方向的研究。以第一作者/共同第一作者发表TPAMI顶刊1篇，CVPR、ICCV顶会文章2篇，其中EventPS在CVPR 2024中获得Best Paper Runner-Up奖项。个人主页：https://www.techbeat.net/grzytrkj?id=40611