一、成果简介
张石清教授团队聚焦通过听觉语音信号、视觉人脸表情、文本语言、脑电EEG等不同模态信号来实现情感的分析与识别，具体包括语音情感识别、人脸表情识别、多模态（音视频）情感识别等研究任务。近年来，曾主持国家自然科学基金项目2项、浙江省自然科学基金重点项目1项、浙江省自然科学基金项目3项、以及中国博士后基金项目1项。现已在《IEEE Transactions on Affective Computing》、《IEEE Transactions on Multimedia》、《IEEE Transactions on Circuits and Systems for Video Technology》、《Information Fusion》、ACM MM等国内外刊物或会议上发表论文70余篇，其中ESI高被引论文2篇，并获得授权发明专利7项，出版一部学术专著，获得浙江省自然科学类三等奖1项（2023）。
鉴于张石清教授在情感计算领域中的重要贡献，他连续多年入选全球前2%顶尖科学家“终身科学影响力排行榜”和“年度科学影响力排行榜”。目前，他担任国际知名期刊《IEEE Transactions on Affective Computing》（IF=9.6）副主编（Associate editor）、《Information Fusion》（IF=14.8）领域编委（Area editor）和《Pattern Recognition》（IF=7.5）客座编辑（Guest editor）。
二、 成果实效
过去，“读心术”被视为“特异功能”。现在，情感计算技术让机器拥有“读心术”将成为现实。情感计算旨在赋予机器像人一样的观察、理解和表达各种情感特征的能力，最终使机器能与人进行自然、亲切和生动的交互。该研究涉及到计算机科学、心理学、生理学、行为学、脑科学等多学科领域，在自然人机交互、机器人、精神健康分析等领域具有重要的应用价值。
图1 情感计算关键技术框架
图2 基于混合深度学习的音视频情感识别模型（IEEE TCSVT’18）
2024年10月26日下午，张石清教授在中国计算机大会（CNCC2024）成功组织“大模型下的多模态情感计算未来”技术论坛，邀请了8位国家级人才出席论坛。
图5 CNCC2024“大模型下的多模态情感计算未来”技术论坛合影
2024年12月7日，张石清教授应邀出席第二届CSIG情感智能大会，并做“多模态情感计算与抑郁症分析”报告。
图6 出席第二届CSIG情感智能大会做报告
2025年6月，张石清教授联合国内外知名学者，在国际著名期刊《Pattern Recognition》（中科院SCI一区TOP，IF：7.5）组织策划“大规模预训练模型时代的情感计算”（Affective Computing in the Large-scale Pre-trained Model Era）专刊。国际欧亚科学院院士、ACM/IEEE Fellow、华为终端BG首席科学家田奇，ACM/IEEE Fellow、英国帝国理工大学教授Björn W. Schuller，国家级青年人才、清华大学信息国家研究中心副研究员赵思成与张石清教授共同担任特邀编辑。
情感计算技术使机器人能实时识别用户的语音、表情及姿态，并基于情感算法生成共情回应。例如，在心理健康领域，机器人可通过情感交互缓解用户的焦虑情绪，提供陪伴支持；在教育场景中，它能根据学生情绪动态调整教学策略，提升学习效率。随着情感芯片与多模态融合技术的突破，情感机器人正逐步应用于养老陪护、客户服务等领域，推动人机关系向“情智兼备”演进。
图7 情感计算技术用于人性情感交互机器人
三、 人物访谈
1. 情感计算当前已落地的实用场景中，哪些领域最能切实满足人们的生活与学习需求？
情感计算赋予人机交互更加自然化，因此在机器人、智慧教育、健康医疗等领域的落地应用最能直接满足人们的生活与学习需求。在机器人领域，发展具有智商和情商的情智兼备机器人是中国科协发布的2024年十大科学问题之一。 目前，老年情感陪护机器人通过识别用户的孤独感与焦虑情绪，主动提供情感支持，缓解社会老龄化带来的精神关怀缺口。在教育领域，情感计算可通过分析学生的微表情、语音语调及注意力数据，实时判断学习状态，动态调整教学内容与节奏，实现个性化辅导。例如，在线教育平台利用情感识别技术为注意力涣散的学生推送互动性更强的学习材料，显著提升学习效率。在医疗健康领域，情感计算赋能心理障碍诊疗，如通过语音情感分析辅助抑郁症筛查，或为自闭症儿童提供情感交互训练工具。这些场景将情感计算从实验室概念转化为改善生活质量的关键工具。
2. 面对情感计算交互中可能出现的机械感、“伪共情”等问题，应如何兼顾技术实用性与人文温度？
解决这一矛盾需从技术优化与设计伦理双路径切入。技术上，应摒弃单一模态的情感识别，融合语音、表情、生理信号等多维度数据，结合上下文语境理解情感演变规律，例如通过长时程对话记忆增强共情的连贯性。同时，引入“可解释性AI”技术，让用户理解系统决策逻辑，避免“黑箱式共情”带来的不信任。在伦理层面，需明确技术边界——情感计算应定位为“辅助工具”而非“情感替代品”。例如在心理辅导场景中，系统需及时提示转接人工干预。此外，设计上应保留“不确定性表达”，如适当使用“我注意到你似乎情绪低落，是否需要进一步探讨？”等开放式对话，避免绝对化的情感断言，为真实人类情感留出空间。
3. 结合情感计算的学科交叉特性，您对学生在知识储备、实践方向上有哪些具体建议？
情感计算是计算机科学、心理学、生理学、行为学、脑科学等不同学科的深度交叉领域，建议学生构建“工科能力+人文素养”的交叉学科知识体系。知识储备上，除掌握机器学习、信号处理等核心技术外，必须系统学习《情绪心理学》《社会心理学》等课程，理解情感产生的心理学基础与文化表达差异。实践方向应聚焦二类场景：一是深耕多模态技术融合，如通过语音、表情、脑电信号等不同模态信息的联合建模来提升情感识别精度；二是关注伦理实践，参与设计公平性检测框架，避免算法对特定性别、文化的偏见。
