姜将的个人博客

多模态大模型进展梳理多模态大模型相比纯文本大模型，在输入输出上多了对多模态数据的支持。最主流的就是增加了对图像、视频输入的视觉语言模型，视觉语言模型的基础上增加对语音的输入输出支持，则是Omni（全能）模型。但主流的开源Omni模型并非真正的全能，它缺少了对图像视频等视觉数据的输出功能。此外还有相对小众一些的TTS（文本转语音，能力是Omni模型的子集），ASR（自动语音识别）等多模态大模型。本文梳理了主流的开源多模态大模型的技术报告和技术博客中的信息，从主流的Qwen VL系列，到当前的诸多原生多模态大模型，重点关注模型结构和训练流程，并穿插一些自己的启发。 Qwen-VL（2023，基于 Qwen-7B）参考：https://arxiv\.org/abs/2308\.12966 第一代，思路很”经典组合式”，几乎是 BLIP-2 路线的加强版。 结构 视觉编码器：Openclip 的 ViT-bigG（约 1.9B），输入固定分辨率（第一阶段 224，后期 448）。 连接器：一个单层 cross-attention 的 position-aware VL Adapter——用 ...

主流大模型是如何训练agent能力的本博客只讨论了对于小参数通用agent模型训练可能会有启发的内容。原生多模态，百万上下文（与此相关的大同小异的稀疏注意力），coding agent能力相关内容没有列出。 GLM5.2参考：https://z\.ai/blog/glm\-5\.2 1. 长周期任务 RL：从 group-wise 优化转向 critic-based PPO这一段是最重要的： RL for Long-Horizon Tasks. For GLM-5.2, long-horizon tasks produce substantially longer execution traces, and once a super-long trajectory is split by compaction into multiple sub-traces, different rollouts under the same prompt yield different numbers of trainable traces with highly variable lengths. ...