多模态检索模型推荐方案

ima 四个业务集 · Hit@1

4 / 4 全面领先

合计 181/262 对 151/262

ima最难人造集 v3 · 无字图纸

26.0% → 50.0%

净增 12 题

估计单库100万页 · 10库

6,500 元/月

文本轨 + 视觉轨双路，明细 →

约1,500万页/天入库 · 双模型

13.35 万元/月

年均 133,500 元 · 0.0089 元/次，明细 →

一、对比线上方案 (ima QueryDoc)

评测集	规模	线上方案 ima QueryDoc	Evie 压缩 d64 K32	净增
ima工业v1	55 问 / 271 页	37/55 · 67.27%	40/55 · 72.73%	+3 题
ima工业v2	80 问 / 271 页	49/80 · 61.25%	57/80 · 71.25%	+8 题
ima工业v3	50 问 / 271 页	13/50 · 26.00%	25/50 · 50.00%	+12 题
ima博物馆	77 问 / 96 页	52/77 · 67.53%	59/77 · 76.62%	+7 题
合计	262 问	151/262 · 57.63%	181/262 · 69.08%	+30 题

数据集	指标	纯线上	线上+Evie	Evie增益@5	线上+Qwen	Qwen增益@5
ima工业v1（55问）	Hit@1 / @5	37 / 46	37 / 51	+5 (+10.9%)	37 / 49	+3 (+6.5%)
	nDCG@1 / @5	0.6727 / 0.7687	0.6727 / 0.8249	+0.0562 (+7.3%)	0.6727 / 0.8020	+0.0333 (+4.3%)
ima工业v2（80问）	Hit@1 / @5	49 / 64	49 / 73	+9 (+14.1%)	49 / 69	+5 (+7.8%)
	nDCG@1 / @5	0.6125 / 0.7177	0.6125 / 0.7919	+0.0742 (+10.3%)	0.6125 / 0.7620	+0.0443 (+6.2%)
ima工业v3（50问）	Hit@1 / @5	13 / 22	13 / 38	+16 (+72.7%)	13 / 35	+13 (+59.1%)
	nDCG@1 / @5	0.2600 / 0.3521	0.2600 / 0.5503	+0.1982 (+56.3%)	0.2600 / 0.5166	+0.1645 (+46.7%)
ima博物馆（77问）	Hit@1 / @5	71 / 77	71 / 76	-1 (-1.3%)	71 / 74	-3 (-3.9%)
	nDCG@1 / @5	0.9221 / 0.9496	0.9221 / 0.9172	-0.0324 (-3.4%)	0.9221 / 0.8713	-0.0783 (-8.2%)

二、场景选型总览

检索方向	输入形态	线上推荐模型	核心选型依据
图搜图	只有图	Qwen3-VL-2B 推荐候选	ILIAS 1041/1232 领先 · ADP汽车与ADP研报高保真
文+图搜图	图+问句	Qwen3-VL-2B 推荐候选	图+问句融合检索抗噪强 · ADP汽车 43/44 · ADP研报 228/232
文搜图	只有字	Evie 压缩 d64 K32 推荐候选	ima博物馆 59/77 第一 · 四个集全面高于线上方案
公开榜对照	只有字	Evie 压缩 d64 K32 推荐候选	ViDoRe V3 59.58 · 百万页仅 3.81 GiB 存储

数据集说明

短名	全称	来源与难度	规模
ima工业v1	ima工业口语化问题(贴近线上)v1	ima 线上真实口语化提问,最贴近现网表现	55 问 / 271 页
ima工业v2	ima中等难度人造集v2	人造,中等难度	80 问 / 271 页
ima工业v3	ima最难人造集v3	人造,最难;少字 / 无字工程图纸	50 问 / 271 页
ima博物馆	ima博物馆数据评测集	细粒度多图册识别	77 问 / 96 页
ADP汽车	汽车问答(ADP业务数据集)	ADP 业务数据,参考对照	200 问
ADP研报	研报问答(ADP业务数据集)	ADP 业务数据,参考对照	502 问

三、图搜图

模型	ADP汽车 199	ADP研报 502	ILIAS 1232	牛津 70	巴黎 70
Qwen3-VL-2B 推荐候选	195/199 · 97.99%	482/502 · 96.02%	1041/1232 · 84.50%	52/70 · 74.29%	69/70 · 98.57%
DINOv3-L	194/199 · 97.49%	477/502 · 95.02%	958/1232 · 77.76%	69/70 · 98.57%	69/70 · 98.57%
WeMM-2B	192/199 · 96.48%	471/502 · 93.82%	1002/1232 · 81.33%	58/70 · 82.86%	69/70 · 98.57%
WeMM-4B	192/199 · 96.48%	477/502 · 95.02%	968/1232 · 78.57%	57/70 · 81.43%	70/70 · 100.00%
WeMM-9B	196/199 · 98.49%	486/502 · 96.81%	1021/1232 · 82.87%	57/70 · 81.43%	70/70 · 100.00%

四、文+图搜图

模型	ADP汽车 44	ADP研报 232	ima博物馆 50
Qwen3-VL-2B 推荐候选	43/44 · 97.73%	228/232 · 98.28%	30/50 · 60.00%
WeMM-2B	31/44 · 70.45%	225/232 · 96.98%	31/50 · 62.00%
WeMM-4B	33/44 · 75.00%	224/232 · 96.55%	28/50 · 56.00%
WeMM-9B	39/44 · 88.64%	226/232 · 97.41%	32/50 · 64.00%

五、文搜图

模型	ima工业v1	ima工业v2	ima工业v3	ima博物馆
Evie 压缩 d64 K32 推荐候选	40/55 · 72.73%	57/80 · 71.25%	25/50 · 50.00%	59/77 · 76.62%
Qwen3-VL-2B	39/55 · 70.91%	54/80 · 67.50%	23/50 · 46.00%	29/77 · 37.66%
WeMM-2B	38/55 · 69.09%	55/80 · 68.75%	28/50 · 56.00%	52/77 · 67.53%
WeMM-4B	43/55 · 78.18%	59/80 · 73.75%	23/50 · 46.00%	45/77 · 58.44%
WeMM-9B	40/55 · 72.73%	57/80 · 71.25%	24/50 · 48.00%	57/77 · 74.03%
ima 线上 QueryDoc	37/55 · 67.27%	49/80 · 61.25%	13/50 · 26.00%	52/77 · 67.53%

六、公开榜 ViDoRe V3