多模态检索模型推荐方案
对比线上方案
ima 四个业务集 · Hit@1
4 / 4 全面领先
合计 181/262 对 156/262
样本越难越领先
ima最难人造集 v3 · 无字图纸
28.0% → 50.0%
净增 11 题
to B 企业知识库
估计单库100万页 · 10库
6,500 元/月
文本轨 + 视觉轨双路
to C 大规模检索
约1,500万页/天入库
5.05 万元/月
年均 · 0.0034 元/次
一、对比线上方案 (ima QueryDoc)
| 评测集 | 规模 | 线上方案 ima QueryDoc | Evie 压缩 d64 K32 | 净增 |
|---|---|---|---|---|
| ima工业v1 | 55 问 / 271 页 | 39/55 · 70.91% | 40/55 · 72.73% | +1 题 |
| ima工业v2 | 80 问 / 271 页 | 50/80 · 62.50% | 57/80 · 71.25% | +7 题 |
| ima工业v3 | 50 问 / 271 页 | 14/50 · 28.00% | 25/50 · 50.00% | +11 题 |
| ima博物馆 | 77 问 / 96 页 | 53/77 · 68.83% | 59/77 · 76.62% | +6 题 |
| 合计 | 262 问 | 156/262 · 59.54% | 181/262 · 69.08% | +25 题 |
二、场景选型总览
| 检索方向 | 输入形态 | 线上推荐模型 | 核心选型依据 |
|---|---|---|---|
| 图搜图 | 只有图 | Qwen3-VL-2B 推荐候选 | ILIAS 1041/1232 领先 · ADP汽车与ADP研报高保真 |
| 文+图搜图 | 图+问句 | Qwen3-VL-2B 推荐候选 | 图+问句融合检索抗噪强 · ADP汽车 43/44 · ADP研报 228/232 |
| 文搜图 | 只有字 | Evie 压缩 d64 K32 推荐候选 | ima博物馆 59/77 第一 · 四个集全面高于线上方案 |
| 公开榜对照 | 只有字 | Evie 压缩 d64 K32 推荐候选 | ViDoRe V3 59.58 · 百万页仅 3.81 GiB 存储 |
三、图搜图
| 模型 | ADP汽车 199 | ADP研报 502 | ILIAS 1232 | 牛津 70 | 巴黎 70 |
|---|---|---|---|---|---|
| Qwen3-VL-2B 推荐候选 | 195/199 · 97.99% | 482/502 · 96.02% | 1041/1232 · 84.50% | 52/70 · 74.29% | 69/70 · 98.57% |
| DINOv3-L | 194/199 · 97.49% | 477/502 · 95.02% | 958/1232 · 77.76% | 69/70 · 98.57% | 69/70 · 98.57% |
| WeMM-2B | 192/199 · 96.48% | 471/502 · 93.82% | 1002/1232 · 81.33% | 58/70 · 82.86% | 69/70 · 98.57% |
| WeMM-4B | 192/199 · 96.48% | 477/502 · 95.02% | 968/1232 · 78.57% | 57/70 · 81.43% | 70/70 · 100.00% |
| WeMM-9B | 196/199 · 98.49% | 486/502 · 96.81% | 1021/1232 · 82.87% | 57/70 · 81.43% | 70/70 · 100.00% |
四、文+图搜图
| 模型 | ADP汽车 44 | ADP研报 232 | ima博物馆 50 |
|---|---|---|---|
| Qwen3-VL-2B 推荐候选 | 43/44 · 97.73% | 228/232 · 98.28% | 30/50 · 60.00% |
| WeMM-2B | 31/44 · 70.45% | 225/232 · 96.98% | 31/50 · 62.00% |
| WeMM-4B | 33/44 · 75.00% | 224/232 · 96.55% | 28/50 · 56.00% |
| WeMM-9B | 39/44 · 88.64% | 226/232 · 97.41% | 32/50 · 64.00% |
五、文搜图
| 模型 | ima工业v1 | ima工业v2 | ima工业v3 | ima博物馆 |
|---|---|---|---|---|
| Evie 压缩 d64 K32 推荐候选 | 40/55 · 72.73% | 57/80 · 71.25% | 25/50 · 50.00% | 59/77 · 76.62% |
| Qwen3-VL-2B | 39/55 · 70.91% | 54/80 · 67.50% | 23/50 · 46.00% | 29/77 · 37.66% |
| WeMM-2B | 38/55 · 69.09% | 55/80 · 68.75% | 28/50 · 56.00% | 52/77 · 67.53% |
| WeMM-4B | 43/55 · 78.18% | 59/80 · 73.75% | 23/50 · 46.00% | 45/77 · 58.44% |
| WeMM-9B | 40/55 · 72.73% | 57/80 · 71.25% | 24/50 · 48.00% | 57/77 · 74.03% |
| ima 线上 QueryDoc | 39/55 · 70.91% | 50/80 · 62.50% | 14/50 · 28.00% | 53/77 · 68.83% |
六、公开榜 ViDoRe V3
| 模型 | ViDoRe V3 nDCG@10 |
|---|---|
| Evie 压缩 d64 K32 | 59.58 |
| Qwen3-VL-2B | 52.90 |
| WeMM-2B | 52.59 |
| WeMM-4B | 54.70 |
| WeMM-9B | 57.43 |
数据集说明
| 短名 | 全称 | 来源与难度 | 规模 |
|---|---|---|---|
| ima工业v1 | ima工业口语化问题(贴近线上)v1 | ima 线上真实口语化提问,最贴近现网表现 | 55 问 / 271 页 |
| ima工业v2 | ima中等难度人造集v2 | 人造,中等难度 | 80 问 / 271 页 |
| ima工业v3 | ima最难人造集v3 | 人造,最难;少字 / 无字工程图纸 | 50 问 / 271 页 |
| ima博物馆 | ima博物馆数据评测集 | 细粒度多图册识别 | 77 问 / 96 页 |
| ADP汽车 | 汽车问答(ADP业务数据集) | ADP 业务数据,参考对照 | 200 问 |
| ADP研报 | 研报问答(ADP业务数据集) | ADP 业务数据,参考对照 | 502 问 |