以老人智能照护应用为驱动，探索多模态数据融合、知识图谱、因果推理等人工智能方法，精准刻画老年人健康状态，提升个性化健康管理能力。围绕老年人多模态数据分析，以老人智能照护应用为核心驱动，重点研究数据清洗、多模态数据融合、特征工程、知识图谱、因果推理模型等人工智能基础理论，提高健康管理和照护供给的精准化与智能化。

l 视觉媒体的协同分析：通过多模态信息的表示协同、关联协同和语义协同，解决了视觉媒体分析中的信息源、数据关系和语义概念协同难题。特别是在视听模态的视频场景理解中，提出了像素级视听信号匹配关系分析，推动了视听场景分析向更细粒度发展。

l 大数据知识工程理论与应用框架：基于海势原理和量-质-序工程模型，为大数据知识工程奠定了理论基础，解决了碎片化大知识的处理难题。该成果被鉴定为国际领先水平，广泛应用于大数据知识工程领域

l 跨媒体因果推理与决策：解决了单一媒体数据因果推理不准确的问题，并设计了互信息解耦去偏与分组知识蒸馏的因果决策模型，提升了决策泛化能力。

（1）视觉媒体的协同分析理论与方法

基地聚焦《国务院新一代人工智能发展规划》中的跨媒体分析推理这一新一代人工智能关键共性技术，以老年人复杂多样的视觉媒体数据为基础，针对视觉媒体中的不同层面多模态信息进行复杂协同处理的难题，与新加坡国立大学等合作，在视觉媒体的表示协同、关联协同和语义协同三个层面开展研究，取得了如下进展：1）在表示层阐明了视觉媒体多模态特征之间的互补性，解决了视觉媒体分析中的信息源协同难题。2）在关联层揭示了视觉媒体数据关联的多元性，解决了视觉媒体分析中的数据关系协同难题。3）在语义层发现了视觉媒体分析的协同计算机理，解决了视觉媒体分析中的多语义概念协同分析难题。此外，为了探究视听信号的对应关系，聚焦于视听模态的视频场景理解和分析，探究了视听事件定位任务，从视听对、视听片段、视听视频三个层面全面探究了视听信号的语义对应关系，分析像素级视听信号匹配关系，提出并探究了视听分割任务，构建了学术界该领域第一个具有像素级发声物体标注的数据集，提出了一个基准网络框架，推动视听场景分析领域向更细粒度方向发展。

美国工程院院士、中国科学院/工程院外籍院士Thomas Huang教授对该工作加以详细阐述，并评价其为“具有吸引力的工作”。浙江大学潘云鹤院士团队杨易教授组基于该工作所做的后续工作，获得了ACM MM 2023最佳论文。核心技术获得CCF A类会议ACM MM2023多模态群体行为分析挑战赛“身体行为识别赛道”以及“眼神接触检测赛道”的冠军。获得安徽省自然科学一等奖、高等学校科学研究优秀成果奖二等奖和吴文俊人工智能科学技术奖一等奖。

视觉媒体的协同分析理论与方法的部分荣誉

（2）大数据知识工程理论与应用架构

基地基于国家自然科学基金国际(地区)合作重点项目“社交媒体大数据分析、处理及应用”、科技部重点研发计划项目“大数据知识工程基础理论及其应用研究”（2016-2020），与澳大利亚墨尔本大学等合作，为大数据知识工程研究方向做了奠基性工作。1）提出了原创性海势原理(HACE Theorem)，精准刻画了大数据异构、自治、复杂和演化的本质特征，构建了大数据的三层处理理论框架。2）建立了大数据环境下碎片化大知识的量-质-序工程模型(BigKE 模型)，提出了大知识和大知识系统的十大特征模型，构建了大知识图谱支撑平台(HAPE),提供了针对海量规模知识图谱生成特性评估、查询、挖掘等功能的全生命周期支持。3）创建了面向系统化工程的知识获取与表示、融合与演化导航与推理的一体化应用架构，研发了碎片化知识系统化应用的方法和工具，研制了PB 级的数据和知识服务平台。

基地成员吴信东教授作为海外杰青，国家“千人计划”特聘专家，荣获俄罗斯工程院外籍院士。2022年8月27日，吴信东教授排序第一的项目成果“大数据知识工程基础理论研究”通过了中国电子学会的鉴定，鉴定委员会包括11位院士，鉴定委员会的意见是“该成果创新性强，推广应用前景广阔，整体技术水平达到国际先进，其中海势原理和量-质-序工程模型居国际领先水平，鉴定委员会同意该项成果通过鉴定”。该成果获得安徽省自然科学奖一等奖。该成果在国际上也产生了一定的学术影响，吴信东院士获得了2022年度IEEE ICDM Research Achievements Award （IEEE ICDM 研究贡献奖）。在国际数据挖掘领域，ACM SIGKDD的Innovation Award和Service Award与IEEE ICDM的研究贡献奖和杰出服务奖被公认为最高的四项大奖，吴院士2004年也获得过ACM SIGKDD的Service Award。因为吴信东2006年获得了IEEE ICDM Outstanding Service Award（IEEE ICDM杰出服务奖），成为了斩获IEEE ICDM研究贡献奖和杰出服务奖两项大奖的第一人。

大数据知识工程理论与应用架构的部分荣誉

（3）跨媒体因果推理与决策

在国家重点研发计划项目“跨媒体因果推理与决策以及常识知识学习与因果分析等项目的支持下，针对现有因果推理面向单一媒体数据导致关系学习不准确问题，基地与澳大利亚南澳大学、美国杜克大学、美国马萨诸塞州立大学波士顿分校、美国卡内基梅隆大学等研究面向跨媒体数据的因果表征与因果关系学习；针对模型训练与部署不一致造成的决策效果难泛化问题，设计了互信息解耦去偏与分组知识蒸馏的因果决策模型。

研究成果在蚂蚁集团真实的社会化推荐场景应用，相较于当前使用的社会化推荐方法，提出的方法取得20%预测精度增加以及更快的运行时间。获得CCF-蚂蚁科研基金优秀应用项目，获得2021中国高校计算机大赛微信大数据挑战赛全国一等奖。

跨媒体因果推理与决策的部分荣誉