文搜图
ima工业v1
口语化问题 · 贴近线上
40/55 · 72.73%
高于 WeMM-2B (38/55)
ima工业v3
最难人造集 · 无字图纸
25/50 · 50.00%
线上方案 26.0% → 50.0%
ima博物馆
细粒度多图册识别
59/77 · 76.62%
全场第一，高于第二名 67.53%
百万页存储
d64 K32 压缩档
3.81 GiB
单页 32 向量，与单向量同级
Evie 压缩 d64 K32 · 对照 WeMM-2B
精度
ima工业v1 Hit@1
40/55 · 72.73%
WeMM-2B 38/55 · 69.09%
存储
百万页
3.81 GiB
与 WeMM-2B 同级
建库
单卡页/秒
3.4
WeMM-2B 3.0
部署口径
to C 大规模检索
Evie 单路
to B 另有双路方案
| 模型 | 查询 | ima工业v1 Hit@1 | ima博物馆 Hit-any@1 | ViDoRe V3 nDCG@10 |
|---|---|---|---|---|
| Evie 压缩 d64 K32 | 只文 | 40/55 · 72.73% | 59/77 · 76.62% | 59.58 |
| WeMM-2B | 文 / 图 / 文+图 | 38/55 · 69.09% | 52/77 · 67.53% | 52.59 |
| 模型 | 百万页索引 | 向量/页 | ima工业v1 单卡页/秒 | ima博物馆 单卡页/秒 |
|---|---|---|---|---|
| Evie 压缩 d64 K32 | 3.81 GiB | 32 | 3.4 | 2.0 |
| WeMM-2B | 3.81 GiB | 1 | 3.0 | 1.0 |
业务场景总览 (Hit@1)
| 评测集 | 规模 | Evie 压缩 d64 K32 | 对照 | 净增 |
|---|---|---|---|---|
| ima工业v1 | 55 问 | 40/55 · 72.73% | 线上 37/55 | +3 题 |
| ima工业v2 | 80 问 | 57/80 · 71.25% | 线上 49/80 | +8 题 |
| ima工业v3 | 50 问 | 25/50 · 50.00% | 线上 13/50 | +12 题 |
| ima博物馆 | 77 问 | 59/77 · 76.62% | 线上 52/77 | +7 题 |
| ADP汽车 | 200 问 | 51/200 · 25.50% | Qwen3-VL-2B 27/200 | +24 题 |
| ADP研报 | 502 问 | 338/502 · 67.33% | Qwen3-VL-2B 307/502 | +31 题 |
参考 · 同一批带图题目只给文字时的表现
| 模型 | ADP汽车 44 | ADP研报 232 |
|---|---|---|
| Qwen3-VL-2B | 8/44 · 18.18% | 139/232 · 59.91% |
| WeMM-2B | 11/44 · 25.00% | 159/232 · 68.53% |
| WeMM-4B | 19/44 · 43.18% | 169/232 · 72.84% |
按评测数据集查看横评对比
ima工业口语化问题(贴近线上)v1 · 55问/271页 · Hit / nDCG
| 模型 | Hit@1 | Hit@5 | Hit@10 | nDCG@1 | nDCG@5 | nDCG@10 |
|---|---|---|---|---|---|---|
| WeMM-4B | 43/55 · 78.18% | 50/55 · 90.91% | 53/55 · 96.36% | 0.7818 | 0.8525 | 0.8715 |
| Evie 压缩 d64 K32 | 40/55 · 72.73% | 50/55 · 90.91% | 51/55 · 92.73% | 0.7273 | 0.8263 | 0.8328 |
| Qwen3-VL-2B | 39/55 · 70.91% | 51/55 · 92.73% | 52/55 · 94.55% | 0.7091 | 0.8225 | 0.8290 |
| WeMM-2B | 38/55 · 69.09% | 51/55 · 92.73% | 52/55 · 94.55% | 0.6909 | 0.8231 | 0.8296 |
| ima 线上 QueryDoc | 37/55 · 67.27% | 46/55 · 83.64% | 47/55 · 85.45% | 0.6727 | 0.7687 | 0.7752 |
ima工业口语化问题(贴近线上)v1 · 55问/271页 · 工程
| 模型 | 参数 | 维 | 卡数 | 单卡页/秒 | 单卡ms/页 | 单卡编满库秒 | 峰值GiB | 百万页索引 |
|---|---|---|---|---|---|---|---|---|
| Evie 压缩 d64 K32 | 4.54B | 32×64 | 8 | 3.4 | 293 | 79.3 | 10.56 | 3.81 GiB |
| Qwen3-VL-2B | 2.13B | 2048 | 8 | 3.3 | 307 | 83.3 | 6.99 | 3.81 GiB |
| WeMM-2B | 2.72B | 2048 | 8 | 3.0 | 328 | 88.9 | 7.79 | 3.81 GiB |
| WeMM-4B | 5.17B | 2560 | 8 | 2.7 | 375 | 101.7 | 11.21 | 4.77 GiB |
ima中等难度人造集v2 · 80问/271页 · Hit / nDCG
| 模型 | Hit@1 | Hit@5 | Hit@10 | nDCG@1 | nDCG@5 | nDCG@10 |
|---|---|---|---|---|---|---|
| WeMM-4B | 59/80 · 73.75% | 74/80 · 92.50% | 78/80 · 97.50% | 0.7375 | 0.8387 | 0.8557 |
| Evie 压缩 d64 K32 | 57/80 · 71.25% | 74/80 · 92.50% | 76/80 · 95.00% | 0.7125 | 0.8286 | 0.8372 |
| WeMM-2B | 55/80 · 68.75% | 74/80 · 92.50% | 77/80 · 96.25% | 0.6875 | 0.8216 | 0.8342 |
| Qwen3-VL-2B | 54/80 · 67.50% | 75/80 · 93.75% | 77/80 · 96.25% | 0.6750 | 0.8104 | 0.8191 |
| ima 线上 QueryDoc | 49/80 · 61.25% | 64/80 · 80.00% | 65/80 · 81.25% | 0.6125 | 0.7177 | 0.7222 |
ima中等难度人造集v2 · 80问/271页 · 工程
| 模型 | 参数 | 维 | 卡数 | 单卡页/秒 | 单卡ms/页 | 单卡编满库秒 | 峰值GiB | 百万页索引 |
|---|---|---|---|---|---|---|---|---|
| Evie 压缩 d64 K32 | 4.54B | 32×64 | 8 | 3.4 | 293 | 79.3 | 10.56 | 3.81 GiB |
| WeMM-2B | 2.72B | 2048 | 8 | 3.3 | 303 | 82.2 | 7.79 | 3.81 GiB |
| Qwen3-VL-2B | 2.13B | 2048 | 8 | 3.3 | 303 | 82.2 | 6.99 | 3.81 GiB |
| WeMM-4B | 5.17B | 2560 | 8 | 2.6 | 383 | 103.9 | 11.21 | 4.77 GiB |
ima最难人造集v3 · 50问/271页(少字/无字工程图纸) · Hit / nDCG
| 模型 | Hit@1 | Hit@5 | Hit@10 | nDCG@1 | nDCG@5 | nDCG@10 |
|---|---|---|---|---|---|---|
| Evie 压缩 d64 K32 | 25/50 · 50.00% | 43/50 · 86.00% | 46/50 · 92.00% | 0.5000 | 0.6970 | 0.7216 |
| WeMM-2B | 28/50 · 56.00% | 40/50 · 80.00% | 45/50 · 90.00% | 0.5600 | 0.6829 | 0.7193 |
| WeMM-4B | 23/50 · 46.00% | 45/50 · 90.00% | 48/50 · 96.00% | 0.4600 | 0.6634 | 0.6881 |
| Qwen3-VL-2B | 23/50 · 46.00% | 41/50 · 82.00% | 45/50 · 90.00% | 0.4600 | 0.6434 | 0.6748 |
| ima 线上 QueryDoc | 13/50 · 26.00% | 22/50 · 44.00% | 25/50 · 50.00% | 0.2600 | 0.3521 | 0.3715 |
ima最难人造集v3 · 50问/271页(少字/无字工程图纸) · 工程
| 模型 | 参数 | 维 | 卡数 | 单卡页/秒 | 单卡ms/页 | 单卡编满库秒 | 峰值GiB | 百万页索引 |
|---|---|---|---|---|---|---|---|---|
| Evie 压缩 d64 K32 | 4.54B | 32×64 | 8 | 3.4 | 293 | 79.3 | 10.56 | 3.81 GiB |
| WeMM-2B | 2.72B | 2048 | 8 | 3.3 | 305 | 82.5 | 7.79 | 3.81 GiB |
| Qwen3-VL-2B | 2.13B | 2048 | 8 | 2.8 | 356 | 96.5 | 6.99 | 3.81 GiB |
| WeMM-4B | 5.17B | 2560 | 8 | 2.6 | 379 | 102.8 | 11.21 | 4.77 GiB |
ima博物馆数据评测集 · Hit / nDCG
| 模型 | Hit-any@1 | Hit-any@5 | Hit-any@10 | Hit-all@1 | Hit-all@5 | Hit-all@10 | nDCG@1 | nDCG@5 | nDCG@10 |
|---|---|---|---|---|---|---|---|---|---|
| Evie 压缩 d64 K32 | 59/77 · 76.62% | 70/77 · 90.91% | 75/77 · 97.40% | 45/77 · 58.44% | 68/77 · 88.31% | 74/77 · 96.10% | 0.7662 | 0.8272 | 0.8503 |
| ima 线上 QueryDoc | 52/77 · 67.53% | 75/77 · 97.40% | 76/77 · 98.70% | 40/77 · 51.95% | 72/77 · 93.51% | 73/77 · 94.81% | 0.6753 | 0.8353 | 0.8421 |
| WeMM-2B | 52/77 · 67.53% | 66/77 · 85.71% | 70/77 · 90.91% | 41/77 · 53.25% | 56/77 · 72.73% | 65/77 · 84.42% | 0.6753 | 0.7306 | 0.7607 |
| WeMM-4B | 45/77 · 58.44% | 63/77 · 81.82% | 67/77 · 87.01% | 35/77 · 45.45% | 55/77 · 71.43% | 64/77 · 83.12% | 0.5844 | 0.6724 | 0.7028 |
| Qwen3-VL-2B | 29/77 · 37.66% | 49/77 · 63.64% | 58/77 · 75.32% | 24/77 · 31.17% | 41/77 · 53.25% | 52/77 · 67.53% | 0.3766 | 0.4828 | 0.5295 |
ima博物馆数据评测集 · Recall
| 模型 | Recall@1 | Recall@5 | Recall@10 |
|---|---|---|---|
| Evie 压缩 d64 K32 | 52/77 · 67.32% | 69/77 · 89.61% | 74/77 · 96.75% |
| ima 线上 QueryDoc | 46/77 · 59.52% | 73/77 · 95.24% | 75/77 · 96.97% |
| WeMM-2B | 46/77 · 60.17% | 61/77 · 79.44% | 68/77 · 87.88% |
| WeMM-4B | 40/77 · 51.73% | 59/77 · 76.41% | 65/77 · 84.85% |
| Qwen3-VL-2B | 27/77 · 34.42% | 45/77 · 58.23% | 55/77 · 71.65% |
ima博物馆数据评测集 · MAP / MRR
| 模型 | MAP@1 | MAP@5 | MAP@10 | MRR@1 | MRR@5 | MRR@10 |
|---|---|---|---|---|---|---|
| Evie 压缩 d64 K32 | 0.7662 | 0.7931 | 0.8033 | 0.7662 | 0.8236 | 0.8316 |
| ima 线上 QueryDoc | 0.6753 | 0.7802 | 0.7838 | 0.6753 | 0.8182 | 0.8203 |
ima博物馆数据评测集 · 按类型 Hit-any@1 / Hit-all@1
| 模型 | 特征 | 视觉 | 介绍 | 外观 | 对照 | 查找 |
|---|---|---|---|---|---|---|
| Evie 压缩 d64 K32 | 18/25 · 18/25 | 8/12 · 8/12 | 14/15 · 14/15 | 5/5 · 5/5 | 9/10 · 0/10 | 5/10 · 0/10 |
| ima 线上 QueryDoc | 12/25 · 12/25 | 10/12 · 10/12 | 11/15 · 11/15 | 5/5 · 5/5 | 7/10 · 0/10 | 7/10 · 2/10 |
| WeMM-2B | 16/25 · 16/25 | 7/12 · 7/12 | 12/15 · 12/15 | 5/5 · 5/5 | 8/10 · 0/10 | 4/10 · 1/10 |
| WeMM-4B | 14/25 · 14/25 | 6/12 · 6/12 | 10/15 · 10/15 | 5/5 · 5/5 | 8/10 · 0/10 | 2/10 · 0/10 |
| Qwen3-VL-2B | 10/25 · 10/25 | 2/12 · 2/12 | 8/15 · 8/15 | 4/5 · 4/5 | 5/10 · 0/10 | 0/10 · 0/10 |
ima博物馆数据评测集 · 工程
| 模型 | 参数 | 维 | 卡数 | 单卡页/秒 | 单卡ms/页 | 单卡编满库秒 | 峰值GiB | 百万页索引 |
|---|---|---|---|---|---|---|---|---|
| Qwen3-VL-2B | 2.13B | 2048 | 8 | 2.5 | 395 | 37.9 | 6.97 | 3.81 GiB |
| Evie 压缩 d64 K32 | 4.54B | 32×64 | 8 | 2.0 | 499 | 47.9 | 9.55 | 3.81 GiB |
| WeMM-2B | 2.72B | 2048 | 8 | 1.0 | 1010 | 97.0 | 15.94 | 3.81 GiB |
| WeMM-4B | 5.17B | 2560 | 8 | 0.7 | 1411 | 135.4 | 18.94 | 4.77 GiB |
汽车问答(ADP业务数据集) · 200题 · Hit / nDCG / Recall
| 模型 | Hit@1 | Hit@5 | nDCG@1 | nDCG@5 | Recall@1 | Recall@5 |
|---|---|---|---|---|---|---|
| Evie 压缩 d64 K32 | 51/200 · 25.50% | 113/200 · 56.50% | 0.2550 | 0.4144 | 51/200 · 25.50% | 113/200 · 56.50% |
| Qwen3-VL-2B | 27/200 · 13.50% | 74/200 · 37.00% | 0.1350 | 0.2553 | 27/200 · 13.50% | 74/200 · 37.00% |
| WeMM-2B | 36/200 · 18.00% | 92/200 · 46.00% | 0.1800 | 0.3275 | 36/200 · 18.00% | 92/200 · 46.00% |
| WeMM-4B | 62/200 · 31.00% | 109/200 · 54.50% | 0.3100 | 0.4370 | 62/200 · 31.00% | 109/200 · 54.50% |
汽车问答(ADP业务数据集) · 工程
| 模型 | 参数 | 维 | 卡数 | 单卡页/秒 | 单卡ms/页 | 单卡编满库秒 | 峰值GiB |
|---|---|---|---|---|---|---|---|
| Evie 压缩 d64 K32 | 4.54B | 32×64 | 8 | 5.8 | 173 | 34.5 | 8.92 |
| Qwen3-VL-2B | 2.13B | 2048 | 4 | 23.8 | 42 | 8.4 | 4.18 |
| WeMM-2B | 2.72B | 2048 | 4 | 17.0 | 59 | 11.8 | 5.25 |
| WeMM-4B | 5.17B | 2560 | 4 | 14.4 | 70 | 13.9 | 9.81 |
研报问答(ADP业务数据集) · 502题 · Hit / nDCG / Recall
| 模型 | Hit@1 | Hit@5 | nDCG@1 | nDCG@5 | Recall@1 | Recall@5 |
|---|---|---|---|---|---|---|
| Evie 压缩 d64 K32 | 338/502 · 67.33% | 436/502 · 86.85% | 0.6733 | 0.7786 | 338/502 · 67.33% | 436/502 · 86.85% |
| Qwen3-VL-2B | 307/502 · 61.16% | 419/502 · 83.47% | 0.6116 | 0.7367 | 307/502 · 61.16% | 419/502 · 83.47% |
| WeMM-2B | 345/502 · 68.73% | 442/502 · 88.05% | 0.6873 | 0.7930 | 345/502 · 68.73% | 442/502 · 88.05% |
| WeMM-4B | 362/502 · 72.11% | 463/502 · 92.23% | 0.7211 | 0.8318 | 362/502 · 72.11% | 463/502 · 92.23% |
研报问答(ADP业务数据集) · 工程
| 模型 | 参数 | 维 | 卡数 | 单卡页/秒 | 单卡ms/页 | 单卡编满库秒 | 峰值GiB |
|---|---|---|---|---|---|---|---|
| Evie 压缩 d64 K32 | 4.54B | 32×64 | 8 | 6.6 | 152 | 76.1 | 10.35 |
| Qwen3-VL-2B | 2.13B | 2048 | 4 | 12.4 | 80 | 40.4 | 5.28 |
| WeMM-2B | 2.72B | 2048 | 4 | 11.3 | 88 | 44.4 | 5.98 |
| WeMM-4B | 5.17B | 2560 | 4 | 8.6 | 116 | 58.4 | 10.46 |
金融报表评测集 · 100题（文搜文50 + 文搜图50）· 保线上召回零误伤
| 版本 | 纯线上 Hit@5 | 线上+Evie Hit@5 | 纯线上 nDCG@5 | 线上+Evie nDCG@5 | 误伤 |
|---|---|---|---|---|---|
| 文字版 | 48 | 48 | 0.68 | 0.68 | 0 |
| 图片版（页级） | 50 | 50 | 0.70 | 0.78（+10.2%） | 0 |
题目示例
| 题目 | 答案 |
|---|---|
| 三星电机这轮 MLCC 涨价从哪天开始执行？ | 8月1日 |
| 村田的 MLCC 现在交货周期有多长？跟 6 月比多了多少？ | 交货周期 30 周；与 6 月相比增加 6 周 |
真实场景案例查看
数据集说明
| 短名 | 全称 | 来源与难度 | 规模 |
|---|---|---|---|
| ima工业v1 | ima工业口语化问题(贴近线上)v1 | ima 线上真实口语化提问,最贴近现网表现 | 55 问 / 271 页 |
| ima工业v2 | ima中等难度人造集v2 | 人造,中等难度 | 80 问 / 271 页 |
| ima工业v3 | ima最难人造集v3 | 人造,最难;少字 / 无字工程图纸 | 50 问 / 271 页 |
| ima博物馆 | ima博物馆数据评测集 | 细粒度多图册识别 | 77 问 / 96 页 |
| ADP汽车 | 汽车问答(ADP业务数据集) | ADP 业务数据,参考对照 | 200 问 |
| ADP研报 | 研报问答(ADP业务数据集) | ADP 业务数据,参考对照 | 502 问 |
| 金融报表 | 金融报表评测集 | 研报问答,文搜文50+文搜图50 | 100 问 |