论文 01 · 音频驱动图像生成

MARS:多模态辅助的精细化语义对齐。

兼具细粒度语义对齐与审美质量的音频生成图像——Mamba 音频编码 + 多模态大模型引导的精炼。

已发表 · IPM 2026 音频生成图像 Mamba 编码器 审美微调

许俊杰、吴兴蛟*、张子豪、杨书文、马天龙、董道国、贺樑 · 华东师范大学(* 通讯作者)

音频生成图像通常在两处丢信息:直接投影过早压缩音频;以文本为中介的链路则丢下说明文字没写到的听觉细节。MARS 让音频表征保持长且结构化,用多模态大模型生成的细粒度视觉描述做对齐监督,再对生成器做审美微调——相对最强 AIG 基线,语义相关性提升 28.73%,审美得分提升 127.35%。

37,250VGGSound 训练与评估记录数
9,500第二个基准 VEGAS 记录数
+28.73%相对最强 AIG 基线的平均语义相关性提升
+127.35%相对最强 AIG 基线的平均审美得分提升
01

问题

音频生成图像有两条主流路线。直接投影类模型把音频编码后映射进图像生成器的嵌入空间——高效,但音频信号在对齐发生之前就被压缩了。先配文字再生成的链路借力预训练文生图模型,但文本这个中介会丢掉说明文字本就没有承载的听觉细节。两条路撞上的是同样的两堵墙:语义错位与视觉细节丢失。

MARS 想问的是:能否同时拆掉这两堵墙——既保住丰富的音频表征,又控制生成结果的审美质量。

MARS 音频嵌入的 t-SNE 可视化:飞机飞掠声与牛叫声的同类嵌入聚在一起,聚类区域旁展示对应示例图像
图 1MARS 音频嵌入的 t-SNE 可视化——(e) 飞机飞掠声、(f) 牛哞声。同一声学类别的嵌入相互聚集,聚类区域旁展示对应的示例图像。
02

方法

三个组件分工。基于 Mamba 的音频编码器处理长音频序列,避开了Transformer 在此处的平方复杂度。细粒度对齐策略用多模态大模型写出的视觉描述作为监督信号——对齐学自丰富描述而非稀缺标签。审美感知生成器再对图像生成器微调,使语义保真不以视觉质量为代价。

MARS 总体框架:音频输入、预处理、音频生图、多模态信息整合与理解
图 2MARS 流水线——音频进、图像出,中间由多模态信息抽取与理解衔接。
03

结果

在 VGGSound(37,250 条)与 VEGAS(9,500 条)上,MARS 相对最强 AIG 基线取得语义相关性平均 +28.73%、审美得分平均 +127.35% 的提升。

在 AudioCaps 与 Clotho 上的跨域评估(只有音频描述、没有配对图像)验证了表征的泛化能力:V2A 指标平均提升 73.9%。

MARS 按类别展示的定性结果:与参考图像和 Sound2Scene 对比
图 3按类别展示的定性结果:参考图像与 Sound2Scene 输出与 MARS 生成结果并列。
04

主张边界

✓ 已确立

  • 面向长序列 AIG 的 Mamba 音频编码器,与 MLLM 视觉描述对齐
  • 审美感知微调,使视觉质量与语义保真并重
  • VGGSound 与 VEGAS 上的最优结果,附 AudioCaps/Clotho 跨域评估
  • 诚实的口径:所有增益均以对最强基线的平均值报告

✗ 明确不主张

  • 不主张实时生成或端侧部署
  • 基准结论仅限于所测数据集
  • 不主张跨模态映射的生物学合理性
  • 治疗与无障碍应用是动机,不是已验证的结论
05

引用

@article{xu2026mars,
  title   = {MARS: Multimodal-Assisted Refined Semantic Alignment},
  author  = {Xu, Junjie and Wu, Xingjiao and Zhang, Zihao and Yang, Shuwen
             and Ma, Tianlong and Dong, Daoguo and He, Liang},
  journal = {Information Processing \& Management},
  volume  = {63},
  pages   = {104292},
  year    = {2026},
  doi     = {10.1016/j.ipm.2025.104292}
}