情感智能 · 多模态 AI

让智能,
更懂人的体验。

我是许俊杰。 华东师范大学计算机科学与技术学院直博生。

我研究声音、图像与人的体验之间的连接,
聚焦多模态对齐、情感理解与可控生成。

许俊杰肖像
许俊杰East China Normal University
立足上海 · 探索模态之间的可能
4 / 14第一作者 / 已发表论文
2主持科研课题
14公开专利申请 · 共同发明人
NEXT CHAPTERECNU NTUCSC 资助访学 · 2026.11–2027.11

贯穿研究的一条主线

技术的深度,
与人的视角。

将三种能力连接起来:理解信号,控制生成,
再把研究推进到有价值的应用。

01

连接不同模态。

从声音、语言到图像,让跨模态对齐保留真正重要的语义细节。

MARS · IPM
02

理解人的信号。

把情感、语境与人的反馈,带入模型的理解和生成过程。

ACM TALLIP · IJCNN
03

让研究产生价值。

从研究问题到原型与应用,以项目负责人的角色推进完整研究过程。

主持 2 项科研课题

SELECTED WORK / 01–03

用代表工作,
说明我能做什么。

浏览已发表研究
01 / CROSS-MODAL GENERATION已发表 · 第一作者

MARS从声音,到视觉世界。

以细粒度音画对齐连接声音与图像,在生成过程中兼顾语义细节与视觉美感。

Information Processing & Management
02 / AFFECTIVE UNDERSTANDING已发表

理解情感,
也理解它的语境。

以图结构建模语义、句法与情感知识,相关一作工作发表于 ACM TALLIP 与 IJCNN。

ACM TALLIP · IJCNN
03 / RESEARCH INTO PRACTICE项目负责人

让技术,
多一份关怀。

主持多模态数字药物交叉学科项目,结题评定优秀;探索情感生成如何服务于日常体验与数字健康支持。

华东师范大学 · 2024–2025 · 结题优秀

WHAT'S NEXT

沿着积累,
探索下一种可能。

从现有研究积累出发的未来方向,
也期待由此开启新的交流与合作。

01

HUMAN–AI COLLABORATION

情感智能体与可信协作

研究情感线索与人类反馈如何支持恰当的信任、有效的监督和持续的人机协作。

从情感计算,走向智能体协作
02

CONTROLLABLE GENERATION

以人的意图控制生成

以音画对齐积累为基础,探索由情感意图和人类偏好驱动的多模态可控生成。

从跨模态对齐,走向偏好学习
03

HUMAN-CENTERED APPLICATIONS

面向体验的数字健康支持

把研究转化为可验证的交互体验,探索数字健康与教育支持中的应用价值。

从项目推进,走向真实场景验证

即将在南洋理工大学开启新的研究阶段。获 CSC 资助,计划于 2026 年 11 月至 2027 年 11 月赴 Eric Cambria 教授团队访学。

PUBLISHED RESEARCH

精选论文。

全部 14 篇已发表论文
  1. 第一作者

    MARS: Multimodal-Assisted Refined Semantic Alignment

    Junjie Xu, Xingjiao Wu, Zihao Zhang, Shuwen Yang, Tianlong Ma, Daoguo Dong, Liang He

    Information Processing & Management 63 (1), 104292已发表
  2. 第一作者

    Bidirectional Directed Acyclic Graph Neural Network for Aspect-level Sentiment Classification

    Junjie Xu, Luwei Xiao, Anran Wu, Tianlong Ma, Daoguo Dong, Liang He

    ACM Transactions on Asian and Low-Resource Language Information Processing已发表
技术创新14 项公开专利申请

以共同发明人身份申请,以下列出公开的专利公开号。

  1. 一种基于Kapur阈值法的黑色素瘤皮肤镜图像分割方法

    CN 118840378 A · 2024-10-25

  2. 一种基于人在回路与视觉基础模型的医学图像增强方法

    CN 120298246 A · 2025-07-11

  3. 一种基于人在回路中标注样本的医学图像分割方法

    CN 118485681 A · 2024-08-13

  4. 一种基于偏好传递性的人在回路强化学习数据增强方法

    CN 118916133 A · 2024-11-08

  5. 一种基于图像多属性建模的美学评估方法

    CN 117422962 A · 2024-01-19

  6. 一种基于多层次对抗学习的图像质量评估方法

    CN 120198411 A · 2025-06-24

  7. 一种基于多模态交叉注意力与动态特征融合的音乐生成方法

    CN 120316301 A · 2025-07-15

  8. 一种基于对抗神经网络的音频驱动图像编辑方法

    CN 118524266 A · 2024-08-20

  9. 一种基于情感驱动和人类专家反馈的机器行为学习方法

    CN 120318634 A · 2025-07-15

  10. 一种基于情感驱动的多乐器分离协同音乐生成方法

    CN 120319204 A · 2025-07-15

  11. 一种基于扩散模型的小样本字体生成方法

    CN 118898549 A · 2024-11-05

  12. 一种基于有向无环图网络的方面级情感分类方法

    CN 116127072 A · 2023-05-16

  13. 一种基于注意力图卷积网络的多模态融合机械缺陷检测方法

    CN 114170477 A · 2022-03-11

  14. 基于人在回路与视觉基础模型的少样本医学图像分割方法

    CN 120298698 A · 2025-07-11

荣誉与经历荣誉与项目经历
  • 2026
    中国国际大学生创新大赛(原“互联网+”)

    高教主赛道 · 研究生创意组 · 项目负责人 — 国赛进行中

  • 2025
    宽睿人才奖学金

    华东师范大学计算机科学与技术学院

  • 2023
    上海市优秀毕业生

    上海市教育委员会

  • 2023
    “挑战杯”全国三等奖

    中国科学技术协会

  • 2022
    华信奖学金

    华东师范大学计算机科学与技术学院

LET'S CONNECT

好的研究,
也始于一次交流。

关于研究、合作,或者一个值得共同探索的问题。

与我联系 jjxu_dr@stu.ecnu.edu.cn