多模态检索 · 模型线上路由

1. 业务场景

2. 触发条件

3. 承接模型与架构

4. 核心指标 / 时延

5. 存储库向量规划

图搜图

纯图片输入

拍照识物、地标、截屏找原图

仅图片输入
无文字输入

DINOv3-Large (303M)

1024 维单向量 · 余弦检索

• 汽车手册: 97.5%
• 行业研报: 95.0% · 实拍: 77.8%
• 8.6ms · 显存 2.1G

1024 维单向量

单张 2KB · 百万张 1.9G

普通文搜图

纯文字搜普通图表

全景图、架构图、流程示意图

仅文字输入
关注图题与整体结构

Qwen3-VL-2B (2.13B)

2048 维全局向量 · 毫秒级内积

• 行业研报: 59.9%
• 汽车手册: 18.2%
• 5.6ms · 显存 6.5G

2048 维单向量

单张 4KB · 百万张 3.8G

图文混搜

图 + 文字复合输入

「看着这图找按钮」、局部修改

图文混合 Query
单次前向融合

Qwen3-VL-2B 一库两用

2048 维融合向量 · 共享存储库

• 行业研报: 98.3%
• 汽车手册: 97.7%
• 45.6ms · 显存 6.5G

共享 2048 维存储库

单张 4KB · 零额外存储

高精度文搜图

纯文字搜复杂文档

密集财报表格、细微刻度数据

仅文字输入
长文本与细粒度表格

Evie-Preview-4.5B

原生 128 维多向量 · MaxSim 交互

• 行业研报: 67.1%
• ViDoRe 榜: 64.56 (#1)
• 94ms · 显存 9.3G

128 维多向量

单页 192~448KB · 百万页 179~420G

线上 Agent 检索与落地全链路

端到端闭环：用户多模态输入 ➔ 主 Agent 意图路由 ➔ 检索模型与存储库匹配 ➔ 结构化事实回传主 Agent

1. 请求输入

多模态输入形态

• 纯图片 (拍照识物/截屏)
• 纯文字问句 (普通/复杂)
• 图 + 文字复合 Query

2. 主 Agent 路由

意图识别与分发

• 纯图片 ➔ DINOv3 检索
• 纯文字/图+字 ➔ Qwen-VL
• 复杂研报表格 ➔ Evie

3. 向量检索匹配

模型推理与存储库召回

• DINO 1024维 ➔ 纯图库 (8.6ms)
• Qwen 2048维 ➔ 通用库 (5.6ms)
• Evie 多向量 ➔ MaxSim (94ms)

4. 结果回传闭环

事实注入与渲染

• 返回 Top-1 / Top-K 页面
• 关联受控实体与规格参数
• 注入主 Agent 生成卡片/回答

存储库向量规划与存储开销

全场景收敛至 3 套存储库向量，Qwen3-VL 一库两用兼顾文搜图与图文混搜

存储库向量体系	对应承接模型	向量维度	单图/页体积	百万级体积	适用场景与留存理由
`1. 图搜图存储库`	DINOv3-Large (303M)	1024 维	2.0 KB / 图	1.9 GiB 显存常驻	拍照识物、截屏找原图专用，8.6ms 极速响应
`2. 图文通用存储库 (一库两用)`	Qwen3-VL-2B (2.13B)	2048 维	4.0 KB / 图	3.8 GiB 内存常驻	存储库仅编码一次，同时支撑普通文搜图与图文混搜
`3. 高精文档存储库`	Evie-Preview-4.5B	128 维多向量	192 ~ 448 KB / 页	179 ~ 420 GiB	复杂研报、财报表格 RAG 专用，细节不丢失

1. 接入与路由分流

按输入类型轻量分流

• 纯图片输入 ➔ DINOv3-Large (8.6ms)
• 纯文字或图文混合 ➔ Qwen3-VL-2B (5.6ms ~ 45.6ms)
• 复杂研报表格 ➔ Evie-Preview-4.5B (94ms)

2. 存储与资源开销

百万级内存开销极小