文+图搜图
暂定方案
ADP汽车
44 问 · 图+问句融合
43/44 · 97.73%
WeMM 加上问句仅 31/44
ADP研报
232 问 · 图+问句融合
228/232 · 98.28%
接近满分 228/232
ima博物馆
50 问 · 图+问句融合
30/50 · 60.00%
多视角实拍图寻原展品
汽车 44 · 图+问句融合检索 (推荐模式)
| 模型 | Hit@1 | Hit@5 | Hit@10 | nDCG@1 | nDCG@5 | nDCG@10 | Recall@1 | Recall@5 | Recall@10 |
|---|---|---|---|---|---|---|---|---|---|
| Qwen3-VL-2B | 43/44 · 97.73% | 44/44 · 100.00% | 44/44 · 100.00% | 0.9773 | 0.9916 | 0.9916 | 43/44 · 97.73% | 44/44 · 100.00% | 44/44 · 100.00% |
| WeMM-2B | 31/44 · 70.45% | 43/44 · 97.73% | 43/44 · 97.73% | 0.7045 | 0.8635 | 0.8635 | 31/44 · 70.45% | 43/44 · 97.73% | 43/44 · 97.73% |
| WeMM-4B | 33/44 · 75.00% | 44/44 · 100.00% | 44/44 · 100.00% | 0.7500 | 0.8947 | 0.8947 | 33/44 · 75.00% | 44/44 · 100.00% | 44/44 · 100.00% |
汽车 44 · 只用图检索 (对照)
| 模型 | Hit@1 | Hit@5 | Hit@10 | nDCG@1 | nDCG@5 | nDCG@10 | Recall@1 | Recall@5 | Recall@10 |
|---|---|---|---|---|---|---|---|---|---|
| Qwen3-VL-2B | 44/44 · 100.00% | 44/44 · 100.00% | 44/44 · 100.00% | 1.0000 | 1.0000 | 1.0000 | 44/44 · 100.00% | 44/44 · 100.00% | 44/44 · 100.00% |
| WeMM-2B | 43/44 · 97.73% | 44/44 · 100.00% | 44/44 · 100.00% | 0.9773 | 0.9916 | 0.9916 | 43/44 · 97.73% | 44/44 · 100.00% | 44/44 · 100.00% |
| WeMM-4B | 43/44 · 97.73% | 44/44 · 100.00% | 44/44 · 100.00% | 0.9773 | 0.9916 | 0.9916 | 43/44 · 97.73% | 44/44 · 100.00% | 44/44 · 100.00% |
汽车 44 · 编码工程指标
| 模型 | 参数 | 维 | 卡数 | 单卡页/秒 | 单卡ms/页 | 单卡编满库秒 | 峰值 GiB |
|---|---|---|---|---|---|---|---|
| Qwen3-VL-2B | 2.13B | 2048 | 8 | 13.7 | 73 | 14.6 | 4.36 |
| WeMM-2B | 2.72B | 2048 | 4 | 8.3 | 120 | 24.1 | 5.39 |
| WeMM-4B | 5.17B | 2560 | 4 | 3.8 | 262 | 52.4 | 9.96 |
ADP研报 232 · 图+问句融合检索 (推荐模式)
| 模型 | Hit@1 | Hit@5 | Hit@10 | nDCG@1 | nDCG@5 | nDCG@10 | Recall@1 | Recall@5 | Recall@10 |
|---|---|---|---|---|---|---|---|---|---|
| Qwen3-VL-2B | 228/232 · 98.28% | 232/232 · 100.00% | 232/232 · 100.00% | 0.9828 | 0.9925 | 0.9925 | 228/232 · 98.28% | 232/232 · 100.00% | 232/232 · 100.00% |
| WeMM-2B | 225/232 · 96.98% | 232/232 · 100.00% | 232/232 · 100.00% | 0.9698 | 0.9883 | 0.9883 | 225/232 · 96.98% | 232/232 · 100.00% | 232/232 · 100.00% |
| WeMM-4B | 224/232 · 96.55% | 232/232 · 100.00% | 232/232 · 100.00% | 0.9655 | 0.9845 | 0.9845 | 224/232 · 96.55% | 232/232 · 100.00% | 232/232 · 100.00% |
ADP研报 232 · 只用图检索 (对照)
| 模型 | Hit@1 | Hit@5 | Hit@10 | nDCG@1 | nDCG@5 | nDCG@10 | Recall@1 | Recall@5 | Recall@10 |
|---|---|---|---|---|---|---|---|---|---|
| Qwen3-VL-2B | 228/232 · 98.28% | 232/232 · 100.00% | 232/232 · 100.00% | 0.9828 | 0.9931 | 0.9931 | 228/232 · 98.28% | 232/232 · 100.00% | 232/232 · 100.00% |
| WeMM-2B | 226/232 · 97.41% | 232/232 · 100.00% | 232/232 · 100.00% | 0.9741 | 0.9905 | 0.9905 | 226/232 · 97.41% | 232/232 · 100.00% | 232/232 · 100.00% |
| WeMM-4B | 230/232 · 99.14% | 232/232 · 100.00% | 232/232 · 100.00% | 0.9914 | 0.9963 | 0.9963 | 230/232 · 99.14% | 232/232 · 100.00% | 232/232 · 100.00% |
ADP研报 232 · 编码工程指标
| 模型 | 参数 | 维 | 卡数 | 单卡页/秒 | 单卡ms/页 | 单卡编满库秒 | 峰值 GiB |
|---|---|---|---|---|---|---|---|
| Qwen3-VL-2B | 2.13B | 2048 | 8 | 8.7 | 115 | 57.9 | 6.48 |
| WeMM-2B | 2.72B | 2048 | 4 | 9.6 | 104 | 52.4 | 5.98 |
| WeMM-4B | 5.17B | 2560 | 4 | 8.2 | 122 | 61.2 | 10.46 |
ima博物馆 50 · 图+问句融合检索 (推荐模式)
| 模型 | Hit@1 | Hit@5 | Hit@10 | nDCG@1 | nDCG@5 | nDCG@10 | Recall@1 | Recall@5 | Recall@10 |
|---|---|---|---|---|---|---|---|---|---|
| Qwen3-VL-2B | 30/50 · 60.00% | 39/50 · 78.00% | 41/50 · 82.00% | 0.6000 | 0.6888 | 0.7013 | 30/50 · 60.00% | 39/50 · 78.00% | 41/50 · 82.00% |
| WeMM-2B | 31/50 · 62.00% | 41/50 · 82.00% | 43/50 · 86.00% | 0.6200 | 0.7197 | 0.7327 | 31/50 · 62.00% | 41/50 · 82.00% | 43/50 · 86.00% |
| WeMM-4B | 28/50 · 56.00% | 39/50 · 78.00% | 42/50 · 84.00% | 0.5600 | 0.6793 | 0.6989 | 28/50 · 56.00% | 39/50 · 78.00% | 42/50 · 84.00% |
ima博物馆 50 · 只用图检索 (对照)
| 模型 | Hit@1 | Hit@5 | Hit@10 | nDCG@1 | nDCG@5 | nDCG@10 | Recall@1 | Recall@5 | Recall@10 |
|---|---|---|---|---|---|---|---|---|---|
| Qwen3-VL-2B | 31/50 · 62.00% | 38/50 · 76.00% | 42/50 · 84.00% | 0.6200 | 0.6888 | 0.7137 | 31/50 · 62.00% | 38/50 · 76.00% | 42/50 · 84.00% |
| WeMM-2B | 34/50 · 68.00% | 40/50 · 80.00% | 44/50 · 88.00% | 0.6800 | 0.7367 | 0.7615 | 34/50 · 68.00% | 40/50 · 80.00% | 44/50 · 88.00% |
| WeMM-4B | 33/50 · 66.00% | 40/50 · 80.00% | 42/50 · 84.00% | 0.6600 | 0.7297 | 0.7426 | 33/50 · 66.00% | 40/50 · 80.00% | 42/50 · 84.00% |
ima博物馆 50 · 编码工程指标
| 模型 | 参数 | 维 | 卡数 | 单卡页/秒 | 单卡ms/页 | 单卡编满库秒 | 峰值 GiB |
|---|---|---|---|---|---|---|---|
| Qwen3-VL-2B | 2.13B | 2048 | 8 | 19.4 | 52 | 10.8 | 4.05 |
| WeMM-2B | 2.72B | 2048 | 8 | 10.2 | 98 | 20.6 | 5.37 |
| WeMM-4B | 5.17B | 2560 | 8 | 8.9 | 113 | 23.7 | 9.75 |
真实场景案例查看
数据集说明
| 短名 | 全称 | 来源与难度 | 规模 |
|---|---|---|---|
| ADP汽车 | 汽车问答(ADP业务数据集) | ADP 业务数据,参考对照 | 200 问 |
| ADP研报 | 研报问答(ADP业务数据集) | ADP 业务数据,参考对照 | 502 问 |
| ima博物馆 | ima博物馆数据评测集 | 细粒度多图册识别 | 77 问 / 96 页 |