近日，我校信息工程学院尚媛园教授团队在情感计算领域取得系列重要研究成果。团队基于人工智能技术，在多模态抑郁症识别、面部视觉表征和语音特征研究等方面取得显著进展。这些研究成果已由我校作为第一署名单位，与美国西弗吉尼亚大学联合发表在国际权威期刊上。   

研究团队专注于解决面部隐私保护和多模态融合等抑郁症识别领域的关键问题，成功提出一种新型的多模态交叉注意力信息交互的人工智能模型。相关成果“面向面部隐私保护的多模态抑郁症识别模型研究”（Integrating Deep Facial Priors into Landmarks for Privacy Preserving Multimodal Depression Recognition）发表在IEEE的顶级期刊《IEEE情感计算会刊》（IEEE Transactions on Affective Computing），该期刊的影响因子为11.9，在情感计算领域具有重要影响力。这也是团队在2020和2022年在该期刊发表研究成果后的再次突破。

此外，团队还针对抑郁情感障碍相关的面部视觉表征等核心研究问题，提出了时空注意力机制融合方法，该方法可以对抑郁视觉特征进行深层解析，并在特征可视化方面达到良好效果，推动了人工智能模型可解释性的研究。相关成果“基于时空注意力机制的面部视觉抑郁症识别研究”（Spatial-Temporal Attention Network for Depression Recognition from Facial Videos）发表在爱思维尔（Elsevier）旗下的著名期刊《专家系统与应用》（Expert Systems With Applications，中科院一区TOP期刊），期刊影响因子为8.5，并被认为是人工智能、运筹学等领域的重要国际期刊之一。

聚焦抑郁相关的语音特征研究，团队提出一种基于语音学和多声学特征的信息融合模型，该模型通过多尺度的音频特征分解，能够深度挖掘语音内的时序依赖与抑郁声学特征。这一成果不仅成功地将抑郁信息与身份信息解耦，还显著提升了识别性能。相关成果“多声学特征深监督声纹对抗网络的抑郁症识别方法研究”（Multi-feature deep supervised voiceprint adversarial network for depression recognition from speech）和“一种语音时空特征融合的抑郁症识别网络结构”（Spatial-Temporal Feature Network for Speech-Based Depression Recognition）分别发表在交叉研究国际权威期刊《生物医学信号处理与控制》（Biomedical Signal Processing and Control）和《IEEE认知与发展系统会刊》（IEEE Transactions on Cognitive and Developmental Systems）上。    

尚媛园为以上论文的通讯作者，指导研究生潘昱辰、韩卓瑾等完成。基于AI的抑郁症识别是情感计算领域前沿研究问题，受到国内外学者的广泛关注，属于人工智能、数学、统计学、心理学等多学科交叉研究问题。团队近年来在该领域持续开展研究，已有多篇论文入选ESI高被引论文，在国内外产生一定影响。以上系列研究成果的发表，表明我校在该领域研究更加深入，影响力进一步提升。   

这些研究工作得到国家自然科学基金、北京市长城学者、北京市自然科学基金等项目的资助。 

原文链接：https://doi.org/10.1109/TAFFC.2023.3296318 

原文链接：https://doi.org/10.1016/j.eswa.2023.121410

原文链接：https://doi.org/10.1016/j.bspc.2023.105704

原文链接：https://doi.org/10.1109/TCDS.2023.3273614