feat(review): PDF/图片离线源适配(C1)—— 无需 CAD 的整条审查链路
支持直接审查 PDF 与位图图纸,全链路离线(不连 CAD、不连 8080 端口)。 渲染在内存内完成,复用既有墨迹热力图 + 自适应瓦片规划。 - 新增 dwg_review/sources.py - detect_source / plan_file / collect 统一入口 - PdfReader:pypdfium2 惰性导入,页序即图框序,处理 /Rotate 与 crop 边距 - ImageReader:世界单位 = 源像素,snap_box 整数对齐保证窗口与像素严格一致 - ink_grid:纯 PIL 灰度阈值 → 占用网格(不引入 numpy) - ReviewContext.create(connect_cad=False):离线时 client/tools 均为 None - 全链路 ctx.tools is None 守卫:review 只读子循环 / inspect_region / annotator / checks 的窗口类检查 / 绘图区最大化 - checklist.build_system_prompt(allow_tools=False, offline=True):离线提示词 - __main__:位置参数 source,按扩展名自动判定源类型并决定是否连 CAD - config 新增 8 个常量(PDF_MAX_PAGES / 文本最小字数 / 各源缩放上限 / 墨迹阈值等) - tiling.content_predicate 与 heatmap.cell_box 提升为公开函数 验证: - pytest 457 passed - verify_pdf_source.py:PDF 23/23、图片 9/9(不需 CAD),含实测瓦片字高像素与 旋转映射自检(文本区墨迹 0.311 vs 忽略 /Rotate 反向对照 0.145) - 真实 LLM 端到端:20 页 HVAC 图纸前 3 页跑通,结论具体可核验且未编造 handle 已知局限:页边线在墨迹网格里会把整页连成单簇,瓦片常退化为整页象限(CAD 侧 靠 drop_oversized 丢图框块,离线侧暂无等价手段),留待后续打磨。
This commit is contained in:
1 parent
d4a9442e30
commit
6143bb9ab2
32 files changed
+2617
-77
No files matched your search
+41
-3
@@ -40,9 +40,11 @@ python -m pytest # 期望全绿
|
||||
配置见 `pytest.ini`(`testpaths = tests`)与根 `conftest.py`(把仓库根加入 `sys.path`,
|
||||
并提供 `RENDER_WAIT=0` / `REPORT_DIR=tmp` 两个 fixture)。**注意**:`dwg_review.config`
|
||||
的常量在导入期定值,测试改 `os.environ` 无效,须 `monkeypatch.setattr(config, ...)`。
|
||||
`tests/test_sources_pdf.py` 里的 `_build_pdf()` 手工构造最小 PDF,PDF 路径无需样本文件即可回归。
|
||||
|
||||
**慢层 —— 端到端冒烟脚本**(仓库根 `verify_*.py`,**必须先启动已加载插件的 CAD,并确认
|
||||
8080 端口在监听**):
|
||||
**慢层 —— 端到端冒烟脚本**(仓库根 `verify_*.py`):
|
||||
|
||||
需要**已启动已加载插件的 CAD、8080 端口在监听**(`verify_pdf_source.py` 除外):
|
||||
|
||||
```bash
|
||||
python verify_mcp_frame.py # 基座最小集:分帧 / id / isError 映射
|
||||
@@ -57,6 +59,14 @@ python verify_collisions.py # find_collisions:全模型/逐图框粗
|
||||
|
||||
这些脚本通过 TCP 连接 `127.0.0.1:8080` 收发 JSON-RPC。
|
||||
|
||||
**离线源验收(PDF / 图片,不需要 CAD)**:
|
||||
|
||||
```bash
|
||||
python verify_pdf_source.py "E:/path/图纸.pdf" # 离线:页序 / evidence 同形 / 瓦片字高实测 / 旋转映射自检
|
||||
python verify_pdf_source.py "E:/path/scan.png" --dump out/c1
|
||||
python verify_pdf_source.py "E:/path/图纸.pdf" --llm # 追加真实 python -m dwg_review 端到端
|
||||
```
|
||||
|
||||
## 架构
|
||||
|
||||
### 两个构建目标
|
||||
@@ -86,6 +96,33 @@ python verify_collisions.py # find_collisions:全模型/逐图框粗
|
||||
|
||||
第三方工具只需继承 `mcp_Tool`,实现纯虚 `Execute(args)`,并用 `EXPORT_MCP_TOOL(ToolClass, FactoryName)` 宏导出工厂 + 销毁函数。`mcp_Tool_Utility` 提供 `make_text_result` / `make_image_result` / `make_mixed_result` / `make_error` 等返回体构造器。`mcp_plugins.cpp` 中的 `mcp_Tool_ViewportScreenshot`(GDI+ 抓屏 → PNG → Base64 → 多模态返回)是完整参考实现。
|
||||
|
||||
### Python 侧:图纸审查 agent(`dwg_review/`)
|
||||
|
||||
CLI:`python -m dwg_review [source] [options]`。**来源决定运行模式**:
|
||||
|
||||
| `source` | 模式 | 取证方式 |
|
||||
| --- | --- | --- |
|
||||
| 省略 / `.dwg` / `.dxf` | **CAD 在线** | 连 8080,逐图框调 MCP 工具 + 截屏 |
|
||||
| `.pdf` / 常见图片格式 | **完全离线**(不连 CAD) | `sources.py` 内存渲染 + 墨迹瓦片 |
|
||||
|
||||
四阶段流水线:`phases/planning`(识别图框 / 分页)→ `phases/evidence`(取证)→
|
||||
`phases/review`(LLM 审查 + 受控只读取证子循环)→ `phases/report`(汇总落盘)。
|
||||
|
||||
- **统一证据模型** `evidence_model.py`:`source_type` + `images:[{b64,mime,label,window}]`;
|
||||
`window` 是该图**实际可见的世界范围**(供 `inspect_region` 把截图归一化坐标映射回 WCS)。
|
||||
- **多源分发 seam**:`phases/evidence.collect(ctx, index, unit)` 按 `source_type_of(unit)`
|
||||
分发;非 CAD 源走 `sources.collect`,产出与 CAD **同形**的 evidence(结构化键给
|
||||
`evidence_model.empty_envelope()`,PDF 另有 best-effort 文本层放进 `texts` 信封)。
|
||||
- **纯函数复用**:`tiling.py`(比例换算 / 瓦片切分)、`heatmap.py`(占用网格 / 聚类)
|
||||
与 CAD 无关,CAD 用**实体 bbox** 驱动、PDF/图片用**像素墨迹**驱动,链路完全一致。
|
||||
- **离线守卫**:`connect_cad=False` 时 `ctx.tools`/`ctx.client` 均为 `None`;所有访问点
|
||||
(`maximized_drawing_area` / `_review_tools` / `_run_readonly_tool` / `_reset_viewport` /
|
||||
`run_deterministic_checks` / `annotator.annotate`&`clear`)都先判 `None`。
|
||||
`checklist.build_system_prompt(offline=True)` 换成纯视觉提示词(无工具、**禁止输出 handle**)。
|
||||
- **世界坐标系**(都 y 向上):CAD = 图形单位;PDF = **页内点**(已应用 `/Rotate`);
|
||||
图片 = **源像素**(`sources.snap_box` 对齐整数,保证「窗口 ↔ 像素」精确对应)。
|
||||
- 运行时依赖见 `requirements.txt`(`openai` / `Pillow` / `pypdfium2`)。
|
||||
|
||||
### 关键头文件
|
||||
|
||||
- `inc/cadsdk.h`:ARX 开发总伞头文件,一次性引入几乎所有 ObjectARX/ZWCAD 头文件,处理 ZWCAD 与 AutoCAD 的宏/库差异。业务 `.cpp` 通常只需 `#include "cadsdk.h"`。
|
||||
@@ -102,5 +139,6 @@ python verify_collisions.py # find_collisions:全模型/逐图框粗
|
||||
|
||||
- **不要改动线程模型**:任何涉及 ARX API 的工具逻辑必须在主线程(`ExecuteTaskInMainThread` 派发链)中执行,不能在 `TcpServerLoop` 线程里直接调用。
|
||||
- **C++ 标准随 SDK 版本浮动**:`cmakelists.txt` 按 `CAD_SDK_VERSION` 自动设定 C++98/03/14/20,跨版本改动需兼容旧标准(低版本 SDK 最高只到 C++14)。
|
||||
- 新增 CAD 版本支持时,需在 `cmakepresets.json` 同步添加 `configurePresets` 与 `buildPresets`,并在 `cmake/ThirdPartyDeps.cmake` 中确认对应库列表(如 `CAD_SDK_VERSION GREATER 23` 时追加 `acpal.lib`/`acgeoment.lib`)。
|
||||
- **新增 CAD 版本支持时**,需在 `cmakepresets.json` 同步添加 `configurePresets` 与 `buildPresets`,并在 `cmake/ThirdPartyDeps.cmake` 中确认对应库列表(如 `CAD_SDK_VERSION GREATER 23` 时追加 `acpal.lib`/`acgeoment.lib`)。
|
||||
- **Python 侧不得把 CAD 能力下沉到 MCP**:PDF / 图片的解析与渲染属于 agent 侧感知层(`dwg_review/sources.py`),**不塞进 MCP、不编 DLL**;只有「CAD 进程内的正交感知能力」才考虑新增 MCP 工具。
|
||||
- `bin/`、`lib/`、`out/` 均为构建产物,已在 `.gitignore` 中忽略;源码在 `src/`、`inc/`、`cmake/`。
|
||||
Reference in new issue
Block a user