李飞飞「空间智能」系列新进展，吴佳俊团队新「BVS」套件评估计算机视觉模型

吴佳俊团队推出的「BEHAVIOR Vision Suite（BVS）」是一套专为系统评估计算机视觉模型设计的工具和资源集，旨在解决现有视觉数据集在量化数据、全面标签、资源渲染质量、数据多样性及物理真实性方面的不足。BVS的构成数据部分：基于BEHAVIOR-1K的资产拓展而成，包含8841个3D物体模型和由51位艺术家设计的室内场景，扩充为1000个场景实例。这些模型和场景具备逼真的外观，并涵盖了丰富的语义类别。研究团队还提供了脚本，允许用户自动生成更多增强场景实例。可定制数据生成器：用户可以利用BVS的数据部分生成满足特定需求的图片数据集，如暗光下的室内场景。生成的数据集在满足需求的同时，具备较高的语义多样性，同时确保其逼真性和物理合理性。用户可以控制相机位置、光照、物体属性（如大小）、物体状态（如开、关）和物体之间的空间关系等五个方面。BVS的应用场景参数可控地评估视觉模型在环境参数连续变化时的鲁棒性：BVS可以生成在某一维度上连续变化的数据，以评估视觉模型在不同环境参数（如遮挡程度、环境亮度、拍摄角度、物体关节移动、视野）连续变化情况下的表现。例如，评估物体检测模型在冰箱门从完全关闭到完全打开过程中，模型能正确检测出存在冰箱的准确率。评估场景理解模型：BVS生成的数据集包含多模态的真实标签，如深度、语义分割、目标边界框等，使得研究者可以利用这些数据在同一图像上评估不同任务的预测模型。研究团队评估了开放词汇检测和分割、深度估计和点云重建四个任务的SOTA模型，并发现模型在BVS数据集上的表现顺序与在对应任务真实数据基准上的表现一致。训练新视觉任务模型：BVS的数据生成不仅限于模型评估，对于难以在现实场景中收集或标注数据的任务，BVS数据也可用于模型训练。例如，利用BVS生成的数据训练了一个物体空间关系和状态预测模型，该模型在未使用真实数据训练的情况下，仍在真实场景下达到了0.839的F1得分，体现了优秀的仿真到现实的转移能力。BVS的优势参数可控性：BVS允许研究人员在数据搜集过程中调整参数，以精确控制实验条件，从而更全面地评估模型的性能。数据多样性：BVS生成的数据集具备较高的语义多样性，同时确保其逼真性和物理合理性，有助于提升模型的泛化能力。评估全面性：BVS提供了丰富的视觉标注和多模态的真实标签，使得研究者可以在同一图像上评估不同任务的预测模型，促进多任务预测模型的发展。仿真到现实的转移能力：BVS生成的数据在模型训练中展现了优秀的仿真到现实的转移能力，为难以在现实场景中收集或标注数据的任务提供了有效的解决方案。