多模态检索模型推荐方案
统一线上路由策略:带图输入走 Qwen3-VL-2B,纯文本输入走 Evie 压缩 d64 K32。
带图检索
输入有图 (只图 / 图+文)
Qwen3-VL-2B
Fused 融合抗噪强 · 汽车 43/44
纯文搜图
输入纯文本 (文档/图纸)
Evie 压缩 d64 K32
百万页仅 3.81 GiB · 工业 40/55
单卡硬件租金
单卡 L20 独占常驻
1,500 元/月
利用率仅 33% · 覆盖 10 个库
端到端检索时延
线上真实全链路实测
30~40 ms
Query编码+向量检索,并发零拖累
场景选型总览
说明:基线模型 DINOv3-L 与 WeMM-2B/4B/9B 仅作离线横向对照。线上网关通过单一分支完成分流,保障系统鲁棒性与低维护成本。
| 检索方向 | 输入形态 | 线上推荐模型 | 核心选型依据 |
|---|---|---|---|
| 图搜图 | 只有图 | Qwen3-VL-2B 推荐候选 | ILIAS 1041/1232 领先 · 汽车与研报高保真 |
| 文+图搜图 | 图+问句 | Qwen3-VL-2B 推荐候选 | Fused 融合抗噪强 · 汽车 43/44 · 研报 228/232 |
| 文搜图 | 只有字 | Evie 压缩 d64 K32 推荐候选 | 工业v1 40/55 · 博物馆 57/77 · 无字人造图纸领先 |
| 高精度文搜图 | 只有字 | Evie 压缩 d64 K32 推荐候选 | ViDoRe V3 58.60 · 百万页仅 3.81 GiB 存储 |
全景横评对照 · 图搜图
| 模型 | 汽车手册 199 | 行业研报 502 | ILIAS 1232 | 牛津 70 | 巴黎 70 | 推荐候选 |
|---|---|---|---|---|---|---|
| Qwen3-VL-2B | 195/199 · 97.99% | 482/502 · 96.02% | 1041/1232 · 84.50% | 52/70 · 74.29% | 69/70 · 98.57% | 推荐候选 |
| DINOv3-L | 194/199 · 97.49% | 477/502 · 95.02% | 958/1232 · 77.76% | 69/70 · 98.57% | 69/70 · 98.57% | |
| WeMM-2B | 192/199 · 96.48% | 471/502 · 93.82% | 1002/1232 · 81.33% | 58/70 · 82.86% | 69/70 · 98.57% | |
| WeMM-4B | 192/199 · 96.48% | 477/502 · 95.02% | 968/1232 · 78.57% | 57/70 · 81.43% | 70/70 · 100.00% | |
| WeMM-9B | 196/199 · 98.49% | 486/502 · 96.81% | 1021/1232 · 82.87% | 57/70 · 81.43% | 70/70 · 100.00% |
全景横评对照 · 文+图搜图
| 模型 | 汽车 44 | 研报 232 | 博物馆 50 | 推荐候选 |
|---|---|---|---|---|
| Qwen3-VL-2B | 43/44 · 97.73% | 228/232 · 98.28% | 30/50 · 60.00% | 推荐候选 |
| WeMM-2B | 31/44 · 70.45% | 225/232 · 96.98% | 31/50 · 62.00% | |
| WeMM-4B | 33/44 · 75.00% | 224/232 · 96.55% | 28/50 · 56.00% | |
| WeMM-9B | 39/44 · 88.64% | 226/232 · 97.41% | 32/50 · 64.00% |
全景横评对照 · 文搜图
| 模型 | 工业主集v1 | 工业备查v2 | 工业人造集v3 | 博物馆图册 | 推荐候选 |
|---|---|---|---|---|---|
| Evie 压缩 d64 K32 | 40/55 · 72.73% | 58/80 · 72.50% | 27/50 · 54.00% | 57/77 · 74.03% | 推荐候选 |
| Qwen3-VL-2B | 39/55 · 70.91% | 54/80 · 67.50% | 23/50 · 46.00% | 29/77 · 37.66% | |
| WeMM-2B | 38/55 · 69.09% | 55/80 · 68.75% | 28/50 · 56.00% | 52/77 · 67.53% | |
| WeMM-4B | 43/55 · 78.18% | 59/80 · 73.75% | 23/50 · 46.00% | 45/77 · 58.44% | |
| WeMM-9B | 40/55 · 72.73% | 57/80 · 71.25% | 24/50 · 48.00% | 57/77 · 74.03% | |
| ima 线上 QueryDoc | 39/55 · 70.91% | 50/80 · 62.50% | 14/50 · 28.00% | 53/77 · 68.83% |
全景横评对照 · 高精度文搜图
| 模型 | ViDoRe V3 nDCG@10 | 推荐候选 |
|---|---|---|
| Evie 压缩 d64 K32 | 58.60 | 推荐候选 |
| Qwen3-VL-2B | 52.9 | |
| WeMM-2B | 52.59 | |
| WeMM-4B | 54.70 | |
| WeMM-9B | 57.43 |