连接不同模态。
从声音、语言到图像,让跨模态对齐保留真正重要的语义细节。
MARS · IPM情感智能 · 多模态 AI
我是许俊杰。 华东师范大学计算机科学与技术学院直博生。
我研究声音、图像与人的体验之间的连接,
聚焦多模态对齐、情感理解与可控生成。

贯穿研究的一条主线
将三种能力连接起来:理解信号,控制生成,
再把研究推进到有价值的应用。
从声音、语言到图像,让跨模态对齐保留真正重要的语义细节。
MARS · IPM把情感、语境与人的反馈,带入模型的理解和生成过程。
ACM TALLIP · IJCNN从研究问题到原型与应用,以项目负责人的角色推进完整研究过程。
主持 2 项科研课题SELECTED WORK / 01–03
以图结构建模语义、句法与情感知识,相关一作工作发表于 ACM TALLIP 与 IJCNN。
主持多模态数字药物交叉学科项目,结题评定优秀;探索情感生成如何服务于日常体验与数字健康支持。
WHAT'S NEXT
从现有研究积累出发的未来方向,
也期待由此开启新的交流与合作。
HUMAN–AI COLLABORATION
研究情感线索与人类反馈如何支持恰当的信任、有效的监督和持续的人机协作。
CONTROLLABLE GENERATION
以音画对齐积累为基础,探索由情感意图和人类偏好驱动的多模态可控生成。
HUMAN-CENTERED APPLICATIONS
把研究转化为可验证的交互体验,探索数字健康与教育支持中的应用价值。
即将在南洋理工大学开启新的研究阶段。获 CSC 资助,计划于 2026 年 11 月至 2027 年 11 月赴 Eric Cambria 教授团队访学。
PUBLISHED RESEARCH
以共同发明人身份申请,以下列出公开的专利公开号。
CN 118840378 A · 2024-10-25
CN 120298246 A · 2025-07-11
CN 118485681 A · 2024-08-13
CN 118916133 A · 2024-11-08
CN 117422962 A · 2024-01-19
CN 120198411 A · 2025-06-24
CN 120316301 A · 2025-07-15
CN 118524266 A · 2024-08-20
CN 120318634 A · 2025-07-15
CN 120319204 A · 2025-07-15
CN 118898549 A · 2024-11-05
CN 116127072 A · 2023-05-16
CN 114170477 A · 2022-03-11
CN 120298698 A · 2025-07-11
高教主赛道 · 研究生创意组 · 项目负责人 — 国赛进行中
华东师范大学计算机科学与技术学院
上海市教育委员会
中国科学技术协会
华东师范大学计算机科学与技术学院
LET'S CONNECT
关于研究、合作,或者一个值得共同探索的问题。
与我联系 jjxu_dr@stu.ecnu.edu.cn