近日，资环学院青年教师张振鑫副教授在国际摄影测量与遥感学会官方杂志、摄影测量与遥感领域国际顶级期刊《ISPRS摄影测量和遥感杂志》（ISPRS Journal of Photogrammetry and Remote Sensing）发表论文《基于类条件GAN反演的多类室内不完整目标的跨域点云补全》（Cross-domain point cloud completion for multi-class indoor incomplete objects via class-conditional GAN inversion），突破了多类别室内三维目标补全的技术瓶颈。张振鑫副教授为论文的第一作者，首都师范大学为唯一通讯单位，合作作者还包括首都师范大学2020级硕士生冷思仪及北京师范大学张立强教授。

室内真实场景扫描获取得到的三维点云常因视角受限和物体间遮挡而残缺、稀疏、存在噪声（如图1）。点云补全的关键不仅保证数据的完整性，更是推动点云分类、分割、物体检测、三维重建等任务高质量实现的关键。

图1 室内扫描点云示例

资环学院青年教师张振鑫带领研究团队打破以往点云补全方法的束缚，不再仅关注合成数据，更不需要对每个对象类别进行单独建模，突破了单一类别三维目标补全的限制，创造性地提出了一套高效的类别条件生成对抗网络（cGAN）反演（Inversion）框架（图2和图3），通过在合成数据域中训练类别条件GAN，学得多类别对象的形状先验，再为每个不完整物体点云在GAN潜在空间（latent space）中找到一个最优潜在代码（latent code），通过此潜在代码生成一个完整形状，最佳地恢复给定真实数据域中的残缺部分。这个方法克服了真实场景中难以获取成对的残缺及完整点云数据的限制，实现了跨域的真实室内三维场景多类别目标高质量补全。

图2 GAN Inversion图示

图3 室内点云补全条件GAN反演总体架构

该方法推进了前沿方法的水平，突破了在室内多类别上同时实现高质量补全的技术瓶颈（如图4、图5），能够为数字经济和实景三维中国建设提供技术基础，进一步丰富和拓展了地球科学、信息科学及交叉学科的信息完备性理论，得到了国家自然科学基金等项目的资助。

《ISPRS摄影测量和遥感杂志》是中科院大类一区Top期刊，即时影响因子12.7。近年来，资环学院鼓励和引导青年教师面向国家重大需求开展科研和高质量人才的培养，相关研究成果在火星探测、实景三维中国建设等国家重大工程中得到了应用，取得了一定的社会效益，为首都师范大学的“双一流”建设及“攀登计划”助力。

图4 缺失比例较大的点云的补全结果可视化图

图5 不同缺失比例输入点云的补全结果的可视化图及与前沿方法对比

论文信息：

Zhenxin Zhang, Siyi Leng, Liqiang Zhang, Cross-domain point cloud completion for multi-class indoor incomplete objects via class-conditional GAN inversion, ISPRS Journal of Photogrammetry and Remote Sensing, Volume 206, 2023, Pages 118-131.

论文网址：https://www.sciencedirect.com/science/article/pii/S0924271623003064.