多模态检索模型推荐方案
线上一个 if/else。四个方向分开评。
带图
if 输入有图
Qwen3-VL-2B
只有图 → 只图 · 图+问句 → fused
不带图
else 只有字
Evie 压缩 d64 K32
文搜图 / 高精度同一 SKU
四方向
DINOv3-L / WeMM 对照，不进路由。牛津 DINO 69/70 更高；两尊佛问左边那尊，只图用不了问句。
| 方向 | 输入 | 推荐候选 | 原因 |
|---|---|---|---|
| 图搜图 | 只有图 | Qwen3-VL-2B | ILIAS 1041/1232 > WeMM-2B 1002 |
| 文+图搜图 | 图+问句 | Qwen3-VL-2B | 汽车 fused 43/44 > WeMM-2B 31/44 |
| 文搜图 | 只有字 | Evie 压缩 d64 K32 | 工业v1 40/55 > WeMM-2B 38/55 |
| 高精度文搜图 | 只有字 | Evie 压缩 d64 K32 | ViDoRe V3 58.60 · 3.81 GiB/百万页 |
带图 · 为什么不 WeMM-2B
主因是 fused。汽车文+图 Qwen 43/44，WeMM-2B 31/44（−12）。WeMM 只图 43、加上问句掉到 31；Qwen fused 43、只图 44。牛津 WeMM 58/70 > Qwen 52/70，产品不取这一列。WeMM 与 Qwen fused 不是同一套 prompt。
| 集 | Qwen3-VL-2B | WeMM-2B |
|---|---|---|
| 图搜图 ILIAS | 1041/1232 · 84.50% | 1002/1232 · 81.33% |
| 图搜图汽车 | 195/199 · 97.99% | 192/199 · 96.48% |
| 图搜图研报 | 482/502 · 96.02% | 471/502 · 93.82% |
| 图搜图牛津 | 52/70 · 74.29% | 58/70 · 82.86% |
| 文+图汽车 fused | 43/44 · 97.73% | 31/44 · 70.45% |
| 文+图汽车 只图 | 44/44 · 100.00% | 43/44 · 97.73% |
| 文+图研报 fused | 228/232 · 98.28% | 225/232 · 96.98% |
Evie 压缩 d64 K32 · 对照 WeMM-2B
WeMM-2B 文/图/文+图都能查。Evie 只查文字。Evie 压缩 d64 K32：工业 v1 40/55，高于 WeMM-2B 38/55；存储同为 3.81 GiB/百万页。建库单卡页/秒：d64 K32 2.5，WeMM-2B 3.0。检索 V3 ms/query：d64 K32 0.36 · WeMM-2B 0.001。
精度
工业v1 Hit@1
40/55 · 72.73%
WeMM-2B 38/55 · 69.09%
存储
百万页
3.81 GiB
与 WeMM-2B 同级
建库
单卡页/秒
2.5
WeMM-2B 3.0
检索
V3 ms/query
0.36
WeMM-2B 0.001
| 模型 | 查询 | 工业v1 Hit@1 | 博物馆 Hit-any@1 | ViDoRe V3 nDCG@10 |
|---|---|---|---|---|
| Evie 压缩 d64 K32 | 只文 | 40/55 · 72.73% | 57/77 · 74.03% | 58.60 |
| WeMM-2B | 文 / 图 / 文+图 | 38/55 · 69.09% | 52/77 · 67.53% | 52.59 |
| 模型 | 百万页索引 | 向量/页 | 工业 单卡页/秒 | 博物馆 单卡页/秒 | V3 ms/query |
|---|---|---|---|---|---|
| Evie 压缩 d64 K32 | 3.81 GiB | 32 | 2.5 | 2.0 | 0.36 ms/query · 32×64 MaxSim |
| WeMM-2B | 3.81 GiB | 1 | 3.0 | 1.0 | 0.001 ms/query · 1×2048 余弦 |
博物馆文搜图 · 案例
Evie 压缩 d64 K32 Top-1。图册页上半是标本。点开看整页。
