cad-agent/ai.memory/project_agent_roadmap.md

name, description, type

name	description	type
Agent 路线与多源架构（2026-10-15）	dwg_review agent 的总目标、多源图纸分层架构（视觉为最大公约数）、工具层与 agent 层的正交分工、第一步多源证据层、截图去 UI、grounding 实测与后续路线	project

Agent 路线与多源架构

总目标（用户 2026-10-15 明确）

实现 AI 自动识别 + 评审 DWG 图纸。分阶段：先 MCP（已完成），再 agent（进行中）。 最终要支持的图纸来源不限于自家自定义实体：

1. 自家软件的自定义实体 DWG；
2. 其他软件出的 DWG（各种自定义实体）；
3. 将来 PDF 图纸；
4. 将来纯图片图纸。

架构分层（用户认可）

核心洞察：视觉模型（VLM）是"最大公约数"。DWG 自定义实体 / PDF / 图片本质是 "拿不到结构化数据时靠视觉理解"的同一件事——任何图纸只要能渲染成图，VLM 就能审。 所以结构化数据（ARX 读普通实体）是增强，视觉是兜底。

Agent 推理层（审查逻辑 / 清单 / 规则）
        ▲  统一 evidence schema
感知适配层（能力从高到低降级）
  CAD结构化(ARX) → CAD几何 → 离线解析(DWG/PDF) → 视觉(VLM)

• MCP 工具层只管 CAD（进程内能力）；PDF / 图片在 agent 侧（PyMuPDF / Pillow）， 不塞进 MCP、不编 DLL。
• 统一证据模型 + 多源适配 + 能力降级；agent 推理层不关心来源格式。

How to apply：新增"支持某格式"时，优先在 agent 侧感知层加适配器；只有"CAD 进程内的 正交感知能力"才考虑加 MCP 工具。

第一步已落地（2026-10-15，提交 1c9fc72）

取证层多源化 + 视觉多图：

• 新增 dwg_review/evidence_model.py：统一证据模型（source_type + images:[{b64,mime,label}]），访问器 evidence_images() 兼容旧 image_b64/image_mime 单图字段（历史 evidence.json 仍可读）。
• phases/evidence.py：collect() 多源分发 seam（当前仅 CAD）、capture_images() 整体 + 等分象限多图（结束复位视口）、sub_windows()。
• 默认 EVIDENCE_DETAIL_TILES=4 / EVIDENCE_MAX_IMAGES=5（每图框 5 图，默认开启）。
• 实测：真实 Plant 3D 图纸上多图让审查更细（多报出线型误用 CENTER2、图签块属性为空、 按 handle 定位的图层混用等）。

截图去 CAD 界面元素（2026-10-15，提交 f8bd12d）

get_viewport_screenshot 原先截 adsw_acadDocWnd() 客户区，含视口控件、ViewCube、滚动条， 污染截图并误导 VLM（曾把视口标签当成"需放大的内容"）。已修复：

• 改用 acedGetAcadDwgView() 只截图形区（排除滚动条/状态栏）。
• 截图期间临时置 NAVVCUBEDISPLAY=0（关 ViewCube）与 VPCONTROL=0（关视口控件）， 用 RAII 守卫（TempSysVarOff）自动恢复原值，不影响用户 CAD 界面设置； 配合 RedrawWindow(RDW_UPDATENOW) 同步重绘。
• 实测：三项 UI 均消失，VLM 不再提界面元素。

残留（无解，已知）：绘图区右上角仍有绘图窗口的最小化/最大化/关闭按钮——由 AutoCAD 画在图形区内的固有 UI，无系统变量可关。它很小且在角落，实测未影响 VLM。 （区别于应用窗口的按钮；用户最初要清的是 视口控件/ViewCube/滚动条，不含此项。）

grounding 实测（2026-10-15）

用 verify_grounding.py 拿真实截图问 deepseek-flash"哪里要放大"：grounding 可用—— 给出的归一化坐标区域级定位准确（放大后确实套住目标，如图签栏、图框角）， 但语义描述略有偏差（把图签栏说成"状态栏"）。结论：可支撑"按区域放大"，但位置对、语义别全信。

后续路线（未做）

1. VLM 主动放大（自适应取证）：复用受控只读取证子循环，让 VLM 请求放大看不清处。
   • 两条路径：① 按实体 zoom_to_entity(handle)（可靠）；② 按区域（把 VLM 归一化坐标映射成 WCS）——grounding 已实测可用（见上节）。
   • 必须设迭代上限 + 兜底；不把"看清没"完全交给 VLM（会过度自信/幻觉）。
   • 现有 zoom_to_window/zoom_to_entity/get_viewport_screenshot 已在只读白名单， 无需新增工具。
2. PDF / 图片源：在 phases/evidence.collect() 加分支，产出同形 evidence （window=None、结构化空信封、images 带 label）；规划阶段抽象"审查单元" （CAD=图框 / PDF=页 / 图片=单）；批注对非 CAD 源降级（annotator 已天然跳过无 handle 的 issue）。
3. 审图规范接入：清单升级为规范库。