多模态检索模型推荐方案
线上一个 if/else。四个方向分开评。
带图
if 输入有图
Qwen3-VL-2B
只有图 → 只图 · 图+问句 → fused
不带图
else 只有字
Evie 压缩 d64 K32
文搜图 / 高精度同一 SKU
四方向
说明:DINOv3-L 与 WeMM 仅作基线对照,不纳入线上路由。带图场景优先保障文本问句与图片融合检索(Fused)的稳健性。
| 方向 | 输入 | 推荐候选 | 原因 |
|---|---|---|---|
| 图搜图 | 只有图 | Qwen3-VL-2B | ILIAS 1041/1232 > WeMM-2B 1002 |
| 文+图搜图 | 图+问句 | Qwen3-VL-2B | 汽车 fused 43/44 · 博物馆 30/50 |
| 文搜图 | 只有字 | Evie 压缩 d64 K32 | 工业v1 40/55 > WeMM-2B 38/55 |
| 高精度文搜图 | 只有字 | Evie 压缩 d64 K32 | ViDoRe V3 58.60 · 3.81 GiB/百万页 |
全景横评对照 · 图搜图
| 模型 | 汽车手册 199 | 行业研报 502 | ILIAS 1232 | 牛津 70 | 巴黎 70 | 推荐候选 |
|---|---|---|---|---|---|---|
| Qwen3-VL-2B 推荐 | 195/199 · 97.99% | 482/502 · 96.02% | 1041/1232 · 84.50% | 52/70 · 74.29% | 69/70 · 98.57% | 推荐候选 |
| DINOv3-L | 194/199 · 97.49% | 477/502 · 95.02% | 958/1232 · 77.76% | 69/70 · 98.57% | 69/70 · 98.57% | |
| WeMM-2B | 192/199 · 96.48% | 471/502 · 93.82% | 1002/1232 · 81.33% | 58/70 · 82.86% | 69/70 · 98.57% | |
| WeMM-4B | 192/199 · 96.48% | 477/502 · 95.02% | 968/1232 · 78.57% | 57/70 · 81.43% | 70/70 · 100.00% | |
| WeMM-9B | 196/199 · 98.49% | 486/502 · 96.81% | 1021/1232 · 82.87% | 57/70 · 81.43% | 70/70 · 100.00% |
全景横评对照 · 文+图搜图
| 模型 | 汽车 44 | 研报 232 | 博物馆 50 | 推荐候选 |
|---|---|---|---|---|
| Qwen3-VL-2B | 43/44 · 97.73% | 228/232 · 98.28% | 30/50 · 60.00% | 推荐候选 |
| WeMM-2B | 31/44 · 70.45% | 225/232 · 96.98% | 31/50 · 62.00% | |
| WeMM-4B | 33/44 · 75.00% | 224/232 · 96.55% | 28/50 · 56.00% | |
| WeMM-9B | 39/44 · 88.64% | 226/232 · 97.41% | 32/50 · 64.00% |
全景横评对照 · 文搜图
| 模型 | 工业v1 | 工业v2 | 工业v3 | 博物馆 | 推荐候选 |
|---|---|---|---|---|---|
| Evie 压缩 d64 K32 | 40/55 · 72.73% | 58/80 · 72.50% | 27/50 · 54.00% | 57/77 · 74.03% | 推荐候选 |
| Qwen3-VL-2B | 39/55 · 70.91% | 54/80 · 67.50% | 23/50 · 46.00% | 29/77 · 37.66% | |
| WeMM-2B | 38/55 · 69.09% | 55/80 · 68.75% | 28/50 · 56.00% | 52/77 · 67.53% | |
| WeMM-4B | 43/55 · 78.18% | 59/80 · 73.75% | 23/50 · 46.00% | 45/77 · 58.44% | |
| WeMM-9B | 40/55 · 72.73% | 57/80 · 71.25% | 24/50 · 48.00% | 57/77 · 74.03% | |
| ima 线上 QueryDoc | 39/55 · 70.91% | 50/80 · 62.50% | 14/50 · 28.00% | 53/77 · 68.83% |
全景横评对照 · 高精度文搜图
| 模型 | ViDoRe V3 | 推荐候选 |
|---|---|---|
| Evie 压缩 d64 K32 | 58.60 | 推荐候选 |
| Qwen3-VL-2B | 52.9 | |
| WeMM-2B | 52.59 | |
| WeMM-4B | 54.70 | |
| WeMM-9B | 57.43 |