行业首个具备"高刷"视频知晓才气的多模态模子MiniCPM-V 4.5的技能回报雅致发布！开云体育

回报建议和解的 3D-Resampler 架构扫尾高密度视频压缩、面向文档的和解 OCR 和学问学习范式、可控夹杂快速 / 深度想考的多模态强化学习三大技能。

基于这些关键技能，MiniCPM-V 4.5 在视频知晓、图像知晓、OCR、文档领路等多项任务上达到同级 SOTA 水平，不仅以 8B 的参数领域独特 GPT-4o-latest 和 Qwen2.5-VL-72B，更在推理速率上具有显贵上风。

模子仍是开源，就广受社区好评，并径直登上 HuggingFace Trending TOP2。

接下来，就和咱们一都望望回报里讲了什么。

究诘配景

跟着多模态大模子的飞速发展，其在模子架构、数据工程和熏陶形势上的粗浅本钱和效用瓶颈，正成为其渊博应用和技能迭代的中枢壅塞。

而在转移斥地和边际诡计场景中，如安在保持出色性能的同期扫尾高效推理，给多模态模子究诘和应用建议了愈加严峻的挑战。

总的来说，MiniCPM-V 4.5 通过系统性的技能创新攻克三大效用难题：

针对模子架构：为惩办处理图像与视频时产生的海量视觉 Token，团队禁受了和解 3D-Resampler 架构，大幅裁汰了视觉编码的 Token 支拨，扫尾最高96 倍的压缩率。在 VideoMME 上，团队以比较 Qwen2.5-VL7B 仅46.7%的显存和8.7%的时辰支拨，获取了 30B 以下参数目模子的最优性能。

针对熏陶数据：为惩办多模态文档处理中对不成靠外部领路器具的依赖和 OCR 数据工程假想难题，团队建议了和解文档 OCR 与学问学习的新范式，使模子能径直从复漫笔档图像中学习，显贵裁汰了数据噪声和数据工程复杂度。最终在 OmniDocBench 上取得了通用 MLLM 中的最好弘扬。

针对熏陶形势：为均衡深度想考与日常即时使用两种需求，团队使用了夹杂强化学习计谋。该计谋在检朴 30% 熏陶支拨的同期扫尾了广博的想考才气，况兼推理耗时仅为同规格深度想考模子的42.9%-68.2%，在快速反馈与全面分析间取得了可控均衡。

和解的 3D-Resampler 架构扫尾高密度视频压缩

Takeawys：

时辰 - 空间 和解团结压缩可充分挖掘多模态数据的冗余性，扫尾更的高视觉压缩率。

和解的视觉架构可促进感知才气从图像到视频的无缝转移。

传统多模态模子在处理视频时面对的中枢挑战是性能与效用的量度。

为冲破这一窘境，MiniCPM-V 4.5 引入了创新的3D-Resampler 架构。它不再将视频视为颓靡的静态帧序列，而是同期在时空方朝上压缩，期骗流通帧间的高度冗余信息，扫尾了创新性的效用晋升。

该架构能将 6 个流通的视频帧（448 × 448 折柳率）高效压缩为仅 64 个视觉 Token，扫尾了惊东谈主的96 倍视觉压缩率，而多数主流模子处理同等数据需虚耗 1,536Token。这一假想让模子在不增多话语模子诡计本钱的前提下，或者感知和处理更多视频帧，且能获取更好的视频知晓才气。

更进击的是，3D-Resampler 扫尾了图像与视频处理的和解编码，确保了学问和才气的无缝转移。

一个有劲的讲明是，尽管莫得流程特意的视频 OCR 数据熏陶，模子依然展现出精致的视频 OCR 才气。

同期，由于和解的架构假想和参数分享，从 2D 膨大至 3D-Resampler 仅需一个轻量化的 SFT 阶段，极地面裁汰了熏陶本钱。

高效学问学习：面向文档的和解 OCR 和学问学习范式

Takeawys：

对文档图像文本进行不同进程的可见性扰动，即可将学问学习、OCR 才气高效地和解到单个学习标的中。

多模态模子在处理文档时，普遍禁受两种颓靡的低效形势。

一方面，文档学问学习高度依赖脆弱的外部领路器具，不仅效用低下，领路失实还往往引入噪声，需要普遍数据工程进行设立。

另一方面，OCR 才气学习虽受益于数据增强，但过度的图像扰动又会导致笔墨无法辩别，反而诱发模子产生幻觉。

关于以上费事，团队建议一条中枢瞻念察：

文档学问获取和笔墨识别的关键区别，仅在于图像中笔墨的可见度。

基于此，MiniCPM-V 4.5 使用了一种和解的 OCR 和学问学习范式：对文档图像中的笔墨区域施加不同进程的损坏，期骗"从损坏图像中重建原文"这一学习标的同期学习两种任务。如下图所示，通过甘休损坏进程，团队创造了三种任务：

渺小损坏 ( 可靠 OCR 熏陶 ) ：笔墨尚可辩别，模子专注于学习准确、鲁棒的笔墨识别。

中度损坏 ( 轮廓推理 ) ：字符变得迟滞，模子不错结合框内视觉印迹和凹凸文进行轮廓推理和重建原文。

高度损坏 ( 学问学习 ) ：笔墨被绝对抹除，模子被强制依赖凹凸文图表和笔墨以及模子里面学问来重建原文，从而扫尾真是的文档级知晓。

这一形势透顶开脱了对外部领路器的依赖，根绝了其引入的噪声和工程包袱。

同期，它智能地将学问学习和 OCR 标的无缝交融在吞并熏陶批次中，极地面晋升了数据期骗率和熏陶效用。

团队在轻量熏陶建设下对该学习范式进行了消融考据，驱逐阐明面向文档的和解 OCR 和学问学习范式有用晋升了模子在文档知晓、学问推理、笔墨识别上的才气：

高效强化学习：可控夹杂快速 / 深度想考的多模态强化学习

MiniCPM-V 4.5 通过夹杂强化学习形势，扫尾了快速想考和深度想考两种情势的均衡优化。

快速想考情势面向高频日常使用场景，提供高效的推理体验；深度想考情势则专注于复杂任务的深远分析。

模子通过极少高难度、高质地的推理样本进行冷运转，快速掌抓深度想考所必需的反想与回溯才气。

插足强化学习阶段，两种情势被同期优化，不仅显贵增强了深度想考情势的性能，更扫尾了两种情势间推理才气的交叉泛化。模子在检朴约 30% 采样支拨的前提下，仍能达到和仅深想考强化学习的模子相配的弘扬。

同期，团队引入了 RLPR 与 RLAIF-V 两项技能：

RLPR 惩办了通用域问题的灵通式回应（如谜底表述相对复杂、含物理单元等）难以获取可靠奖励信号的痛点，从模子生成正确谜底的概率中获取奖励信号（probability-based reward, PR）。

跟着熏陶步数增多，结合 PR 熏陶比较惯例熏陶形势的上风会冉冉扩大 .

RLAIF-V 有用阻挡了模子的幻觉新生，通过逐一检修模子输出谜底中事实阐明的可靠度并构建偏好数据用于 DPO，晋升了多种多模态理辞退务的可靠性。

评测驱逐

MiniCPM-V 4.5 在 OpenCompass 轮廓评测中取得了 77.0 的平平分。该评测涵盖了 8 个主流多模态基准的综总贪图。

尽管仅有 8B 参数领域，模子在视觉话语才气上独特了 GPT-4o-latest 等渊博使用的私有模子，以及 Qwen2.5-VL72B 等广博的开源模子，成为 30B 参数以下性能最好的开源多模态大模子。

MiniCPM-V 4.5 在提供 SOTA 级多模态弘扬的同期，具有最好的推理效用和最低的推理支拨。

在夹杂想考情势下，MiniCPM-V 4.5 在推理耗时仅为同规格深度想考模子的 42.9%-68.2% 的同期获取了更好的 OpenCompass 分数。

同期，获利于高密度视频压缩技能，在秘密短、中、长三种类型的视频知晓评测集 Video-MME 上，MiniCPM-V 4.5 时辰支拨（未诡计模子抽帧时辰）仅为同级模子的 1/10。

模子实测效果展示

One more thing

动作 MiniCPM-V 系列的最新效用，MiniCPM-V 4.5 系统性地从架构、数据和熏陶三大维度为惩办多模态大模子的效用瓶颈提供了一条可行旅途。

HuggingFace 大佬默示，仅有 8B 参数的模子也能擅长事实雠校和想考，照实值得更多的柔和。

动作清华大学当然话语处理实际室和面壁智能团结开发的系列模子，MiniCPM-V 和 MiniCPM-o 系列已经获取了渊博的学术和产业招供。

技能回报地址：https://github.com/OpenBMB/MiniCPM-V/blob/main/docs/MiniCPM_V_4_5_Technical_Report.pdf

GitHub：https://github.com/OpenBMB/MiniCPM-o

HuggingFace：https://huggingface.co/openbmb/MiniCPM-V-4_5

ModelScope：https://www.modelscope.cn/models/OpenBMB/MiniCPM-V-4_5

一键三连「点赞」「转发」「谨防心」

原谅在指摘区留住你的成见！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见开云体育