论文 01 · 音频驱动图像生成
MARS:多模态辅助的精细化语义对齐。
兼具细粒度语义对齐与审美质量的音频生成图像——Mamba 音频编码 + 多模态大模型引导的精炼。
音频生成图像通常在两处丢信息:直接投影过早压缩音频;以文本为中介的链路则丢下说明文字没写到的听觉细节。MARS 让音频表征保持长且结构化,用多模态大模型生成的细粒度视觉描述做对齐监督,再对生成器做审美微调——相对最强 AIG 基线,语义相关性提升 28.73%,审美得分提升 127.35%。
37,250VGGSound 训练与评估记录数
9,500第二个基准 VEGAS 记录数
+28.73%相对最强 AIG 基线的平均语义相关性提升
+127.35%相对最强 AIG 基线的平均审美得分提升
01
问题
音频生成图像有两条主流路线。直接投影类模型把音频编码后映射进图像生成器的嵌入空间——高效,但音频信号在对齐发生之前就被压缩了。先配文字再生成的链路借力预训练文生图模型,但文本这个中介会丢掉说明文字本就没有承载的听觉细节。两条路撞上的是同样的两堵墙:语义错位与视觉细节丢失。
MARS 想问的是:能否同时拆掉这两堵墙——既保住丰富的音频表征,又控制生成结果的审美质量。

02
方法
三个组件分工。基于 Mamba 的音频编码器处理长音频序列,避开了Transformer 在此处的平方复杂度。细粒度对齐策略用多模态大模型写出的视觉描述作为监督信号——对齐学自丰富描述而非稀缺标签。审美感知生成器再对图像生成器微调,使语义保真不以视觉质量为代价。

03
结果
在 VGGSound(37,250 条)与 VEGAS(9,500 条)上,MARS 相对最强 AIG 基线取得语义相关性平均 +28.73%、审美得分平均 +127.35% 的提升。
在 AudioCaps 与 Clotho 上的跨域评估(只有音频描述、没有配对图像)验证了表征的泛化能力:V2A 指标平均提升 73.9%。

04
主张边界
✓ 已确立
- 面向长序列 AIG 的 Mamba 音频编码器,与 MLLM 视觉描述对齐
- 审美感知微调,使视觉质量与语义保真并重
- VGGSound 与 VEGAS 上的最优结果,附 AudioCaps/Clotho 跨域评估
- 诚实的口径:所有增益均以对最强基线的平均值报告
✗ 明确不主张
- 不主张实时生成或端侧部署
- 基准结论仅限于所测数据集
- 不主张跨模态映射的生物学合理性
- 治疗与无障碍应用是动机,不是已验证的结论
05
引用
@article{xu2026mars,
title = {MARS: Multimodal-Assisted Refined Semantic Alignment},
author = {Xu, Junjie and Wu, Xingjiao and Zhang, Zihao and Yang, Shuwen
and Ma, Tianlong and Dong, Daoguo and He, Liang},
journal = {Information Processing \& Management},
volume = {63},
pages = {104292},
year = {2026},
doi = {10.1016/j.ipm.2025.104292}
}