网问答>>【AI Live】南洋理工MMLab团队 | 三维人体的感知、生成与驱动
问题
已解决

【AI Live】南洋理工MMLab团队 | 三维人体的感知、生成与驱动

时间:2026-01-03 01:16:30
【AI Live】南洋理工MMLab团队 | 三维人体的感知、生成与驱动
最佳回答
南洋理工MMLab团队将围绕三维人体的感知、生成与驱动,分享五个主题的最新研究工作,具体内容如下:主题一:GTA-Human、HuMMan人体数据集主讲人:蔡中昂,南洋理工大学博士生。分享内容:GTA-Human:大规模游戏生成的参数化人体数据集,包含2万段视频及140万帧SMPL参数标签。利用游戏引擎素材,在人物、动作、地点、相机姿态、人与环境交互、光照、气候等维度呈现多样性。HuMMan:大规模多模态4D人体数据集,包含1000个人物、40万段视频、6000万帧数据。支持多模态数据与标注、移动端数据、完备无歧义的动作集,可应用于动作识别、姿态估计、人体重建等任务。讲解维度:数据背景、工具链、数据集特性、任务实验优势。主题二:Relighting4D: 3D人体的逆向渲染与重打光主讲人:陈昭熹,南洋理工大学博士生。分享内容:技术挑战:动态人体重打光需专业人员与昂贵设备进行精细扫描建模,成本高且场景受限。解决方案:采用神经渲染技术,通过物理渲染器从动态人体视频中恢复几何及反射率信息,实现自由视角与姿态下的人体重打光,降低技术成本并拓展应用场景。主题三:AvatarCLIP: 文本驱动的3D人体生成主讲人:洪方舟,南洋理工大学博士生。分享内容:技术背景:三维虚拟人创建过程费时费力,需简化以方便普通用户使用。方法创新:提出AvatarCLIP,基于零次学习的文本驱动生成框架,使用视觉语言预训练模型CLIP监督生成过程。生成流程:分阶段完成体型生成、外观生成及动作序列生成。实验验证:支持大范围文本输入,无需额外数据即可生成高质量结果。主题四:MotionDiffuse: 文本驱动的人体动作生成主讲人:张明远,南洋理工大学博士生。分享内容:技术特点:以文本为输入生成人体动作序列,交互简单但现有方法难以兼顾多样性与可控性。方法创新:首次引入扩散模型,设计高效Transformer结构并赋予时空编辑能力。实验成果:在多个数据集上达到最高精度水平,显著提升动作生成技术能力边界。主题五:Bailando: 人体舞蹈动作生成主讲人:李思尧,新加坡南洋理工大学S-Lab一年级博士生。分享内容:技术难点:需同时满足空间舞姿高标准与时间音乐节拍吻合。框架设计:第一阶段:利用量化自编码器(VQ-VAE)将标准舞姿编码为“舞蹈记忆”编码本。第二阶段:通过生成预训练Transformer(GPT)编排舞姿,结合音乐生成视觉满意的舞蹈。优化机制:引入评论家网络评分,引导GPT生成更契合音乐节奏的动作。实验结果:在标准编舞数据集上取得SOTA效果。
时间:2026-01-03 01:16:34
本类最有帮助
Copyright © 2008-2013 www.wangwenda.com All rights reserved.冀ICP备12000710号-1
投诉邮箱: