【AI Live】南洋理工MMLab团队 | 三维人体的感知、生成与驱动

南洋理工MMLab团队将围绕三维人体的感知、生成与驱动，分享五个主题的最新研究工作，具体内容如下：主题一：GTA-Human、HuMMan人体数据集主讲人：蔡中昂，南洋理工大学博士生。分享内容：GTA-Human：大规模游戏生成的参数化人体数据集，包含2万段视频及140万帧SMPL参数标签。利用游戏引擎素材，在人物、动作、地点、相机姿态、人与环境交互、光照、气候等维度呈现多样性。HuMMan：大规模多模态4D人体数据集，包含1000个人物、40万段视频、6000万帧数据。支持多模态数据与标注、移动端数据、完备无歧义的动作集，可应用于动作识别、姿态估计、人体重建等任务。讲解维度：数据背景、工具链、数据集特性、任务实验优势。主题二：Relighting4D: 3D人体的逆向渲染与重打光主讲人：陈昭熹，南洋理工大学博士生。分享内容：技术挑战：动态人体重打光需专业人员与昂贵设备进行精细扫描建模，成本高且场景受限。解决方案：采用神经渲染技术，通过物理渲染器从动态人体视频中恢复几何及反射率信息，实现自由视角与姿态下的人体重打光，降低技术成本并拓展应用场景。主题三：AvatarCLIP: 文本驱动的3D人体生成主讲人：洪方舟，南洋理工大学博士生。分享内容：技术背景：三维虚拟人创建过程费时费力，需简化以方便普通用户使用。方法创新：提出AvatarCLIP，基于零次学习的文本驱动生成框架，使用视觉语言预训练模型CLIP监督生成过程。生成流程：分阶段完成体型生成、外观生成及动作序列生成。实验验证：支持大范围文本输入，无需额外数据即可生成高质量结果。主题四：MotionDiffuse: 文本驱动的人体动作生成主讲人：张明远，南洋理工大学博士生。分享内容：技术特点：以文本为输入生成人体动作序列，交互简单但现有方法难以兼顾多样性与可控性。方法创新：首次引入扩散模型，设计高效Transformer结构并赋予时空编辑能力。实验成果：在多个数据集上达到最高精度水平，显著提升动作生成技术能力边界。主题五：Bailando: 人体舞蹈动作生成主讲人：李思尧，新加坡南洋理工大学S-Lab一年级博士生。分享内容：技术难点：需同时满足空间舞姿高标准与时间音乐节拍吻合。框架设计：第一阶段：利用量化自编码器（VQ-VAE）将标准舞姿编码为“舞蹈记忆”编码本。第二阶段：通过生成预训练Transformer（GPT）编排舞姿，结合音乐生成视觉满意的舞蹈。优化机制：引入评论家网络评分，引导GPT生成更契合音乐节奏的动作。实验结果：在标准编舞数据集上取得SOTA效果。