zcbot

Commit Graph

Author	SHA1	Message	Date
caoqianming	a1db5756aa	feat(tools): 扫描件 PDF 直读 read_document——方舟文档理解 base64 内联(bump 0.58.55) markitdown 只抽文本层,扫描件(老标准/检测报告/红头指南)转出为空=死路。探针(scripts/probe_ark_doc.py)验证方舟 chat file 内容块直读 PDF 后落地: - tools/read_document.py:seed_2_lite 同 variant 同 key,记账走 record_vision_usage;体积/页数双闸(30MB/100 页,pdfminer 软探页数)+ finish_reason=length 截断提示;多页 OCR save_md 全文落盘只返 1500 字预览 (防上下文爆),save_md 与读取侧同款三形态路径解析(相对/宿主绝对/容器 /workspace)+ user_root 边界 - tools/image_ref.py:抽 load_pdf_as_data_url(复用 resolve_in_root; data:application/pdf;base64, 前缀为方舟硬校验) - config/media/doubao.yaml:vision 段加 max_pdf_mb / max_pdf_pages / doc_request_timeout_s(probe 实测口径:~1300 token/页、100 页全覆盖、 17MB 内联可用、单页栅格化 3600 万像素硬限) - core/agent_builder.py:注册(跟 look_at_image 同 vision 段走)+ 系统提示 _MEDIA_READDOC_SEG(何时调/何时不调,防对有文本层 PDF 重复花钱) - 六 skill(paper/patent/standard/proposal/rebuttal/ppt)摄取段加扫描件兜底一行(markitdown 转出空/近空 → read_document OCR) - 冒烟 scripts/smoke_read_document.py 全过(3 页 ¥0.0066,表格→md 表、公式→LaTeX,usage_events 记账验证) 选型对比(不接 MinerU 等外部解析 API=新增第三方数据面;不选本地 OCR= 过度投资;不选 file_url/file_id=免认证公网直链/TOS 依赖)见 DESIGN §8.13。 host 侧工具,无需重建沙箱镜像,pull + 重启 web 生效。 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-21 16:57:23 +08:00
caoqianming	336db63a01	feat(rendering): 平台渲染层 rendering/ 统一三 skill docx + chromium md→pdf + bump 0.21.0 渲染从「各 skill 自带 render_docx.py」抽成平台能力:新建顶层 rendering/ 包, bind-mount 进 /sandbox/rendering,各 skill 调 render.py 不再 bundle 渲染脚本 (符合 Skills 自包含/可 fork 标准,跨 skill import 会破坏 fork 故不走 skills/_shared)。 - common.py 叶子原语单一事实源(化学式白名单 CHEM_RE 原先三份逐字重复→收敛一处) - docx_manuscript.py paper/proposal 配置化双 profile;docx_brief.py brief 富渲染复用 common - pdf.py md→HTML→沙盒 chromium --print-to-pdf(不用 weasyprint:要 pango/cairo 原生库且不在镜像) - render.py 统一 CLI --profile {brief,paper,proposal} --format {docx,pdf} 零回归:三 profile 重构前后 docx 解包 diff word/document.xml 字节完全一致。守护测试 tests/test_rendering.py 5 项全过。chromium 冒烟 deploy/sandbox/probe_chromium_pdf.sh。删 3 份 render_docx.py + 短命 skills/_shared/render_pdf.py;改 5 个 SKILL.md 调用到 render.py + 补反模式"渲染一律调 render.py、禁止手搓 weasyprint/pip 装包";brief 另删 research 索引滞后描述。requirements 加 markdown,pool.py 加 rendering 挂载。部署须一次原子激活:/sandbox/rendering 挂载靠 pool.py(restart 重建容器生效)+ markdown 进镜像靠 requirements 触发整体重建——update.sh build→restart 顺序覆盖, 旧 render_docx 路径已删,勿只推代码不重建。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>	2026-06-23 13:07:19 +08:00
caoqianming	02cd67f63a	feat(skill): 新增 standard skill — 国标/行标/团标起草(GB/T 1.1-2020) 联网核实市面无可直接复用的"写标准文件本身"的 skill(搜到的均为相邻品类: GB/T 8567 投标技术方案、GB/T 9704 党政公文),据 GB/T 1.1-2020 自建。 - 覆盖三层级:国标 GB·T / 行标 JC·T / 团标 T/(重点对接 CSTM → T/CSTM) - 两体裁骨架:试验方法标准(GB/T 20001.4)+ 产品标准;配套编制说明(报批必交) - 3 references:要素骨架(必备/可选·规范性/资料性·封面前言套话)、层级选型 (CSTM 体系与立项程序)、起草铁律(能愿动词/不可考核词/指标量化闭环/术语/引用真实性) - 渲染复用 proposal render_docx.py + render_diagrams.py(兄弟 skill,同 patent 范式) - 不用 proposal quality_check.py(按申报书章节名误报"缺章节"),改 §8 人工自检清单 - 同步 SKILL_LIST.md(13→14)+ PROGRESS.md Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>	2026-06-05 15:46:06 +08:00

Author

SHA1

Message

Date

caoqianming

a1db5756aa

feat(tools): 扫描件 PDF 直读 read_document——方舟文档理解 base64 内联(bump 0.58.55)

markitdown 只抽文本层,扫描件(老标准/检测报告/红头指南)转出为空=死路。
探针(scripts/probe_ark_doc.py)验证方舟 chat file 内容块直读 PDF 后落地:

- tools/read_document.py:seed_2_lite 同 variant 同 key,记账走
  record_vision_usage;体积/页数双闸(30MB/100 页,pdfminer 软探页数)+
  finish_reason=length 截断提示;多页 OCR save_md 全文落盘只返 1500 字预览
  (防上下文爆),save_md 与读取侧同款三形态路径解析(相对/宿主绝对/容器
  /workspace)+ user_root 边界
- tools/image_ref.py:抽 load_pdf_as_data_url(复用 resolve_in_root;
  data:application/pdf;base64, 前缀为方舟硬校验)
- config/media/doubao.yaml:vision 段加 max_pdf_mb / max_pdf_pages /
  doc_request_timeout_s(probe 实测口径:~1300 token/页、100 页全覆盖、
  17MB 内联可用、单页栅格化 3600 万像素硬限)
- core/agent_builder.py:注册(跟 look_at_image 同 vision 段走)+ 系统提示
  _MEDIA_READDOC_SEG(何时调/何时不调,防对有文本层 PDF 重复花钱)
- 六 skill(paper/patent/standard/proposal/rebuttal/ppt)摄取段加扫描件
  兜底一行(markitdown 转出空/近空 → read_document OCR)
- 冒烟 scripts/smoke_read_document.py 全过(3 页 ¥0.0066,表格→md 表、
  公式→LaTeX,usage_events 记账验证)

选型对比(不接 MinerU 等外部解析 API=新增第三方数据面;不选本地 OCR=
过度投资;不选 file_url/file_id=免认证公网直链/TOS 依赖)见 DESIGN §8.13。
host 侧工具,无需重建沙箱镜像,pull + 重启 web 生效。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

2026-07-21 16:57:23 +08:00

caoqianming

336db63a01

feat(rendering): 平台渲染层 rendering/ 统一三 skill docx + chromium md→pdf + bump 0.21.0

渲染从「各 skill 自带 render_docx.py」抽成平台能力:新建顶层 rendering/ 包,
bind-mount 进 /sandbox/rendering,各 skill 调 render.py 不再 bundle 渲染脚本
(符合 Skills 自包含/可 fork 标准,跨 skill import 会破坏 fork 故不走 skills/_shared)。

- common.py 叶子原语单一事实源(化学式白名单 CHEM_RE 原先三份逐字重复→收敛一处)
- docx_manuscript.py paper/proposal 配置化双 profile;docx_brief.py brief 富渲染复用 common
- pdf.py md→HTML→沙盒 chromium --print-to-pdf(不用 weasyprint:要 pango/cairo 原生库且不在镜像)
- render.py 统一 CLI --profile {brief,paper,proposal} --format {docx,pdf}

零回归:三 profile 重构前后 docx 解包 diff word/document.xml 字节完全一致。
守护测试 tests/test_rendering.py 5 项全过。chromium 冒烟 deploy/sandbox/probe_chromium_pdf.sh。

删 3 份 render_docx.py + 短命 skills/_shared/render_pdf.py;改 5 个 SKILL.md 调用到
render.py + 补反模式"渲染一律调 render.py、禁止手搓 weasyprint/pip 装包";brief 另删
research 索引滞后描述。requirements 加 markdown,pool.py 加 rendering 挂载。

部署须一次原子激活:/sandbox/rendering 挂载靠 pool.py(restart 重建容器生效)+
markdown 进镜像靠 requirements 触发整体重建——update.sh build→restart 顺序覆盖,
旧 render_docx 路径已删,勿只推代码不重建。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-06-23 13:07:19 +08:00

caoqianming

02cd67f63a

feat(skill): 新增 standard skill — 国标/行标/团标起草(GB/T 1.1-2020)

联网核实市面无可直接复用的"写标准文件本身"的 skill(搜到的均为相邻品类:
GB/T 8567 投标技术方案、GB/T 9704 党政公文),据 GB/T 1.1-2020 自建。

- 覆盖三层级:国标 GB·T / 行标 JC·T / 团标 T/(重点对接 CSTM → T/CSTM)
- 两体裁骨架:试验方法标准(GB/T 20001.4)+ 产品标准;配套编制说明(报批必交)
- 3 references:要素骨架(必备/可选·规范性/资料性·封面前言套话)、层级选型
  (CSTM 体系与立项程序)、起草铁律(能愿动词/不可考核词/指标量化闭环/术语/引用真实性)
- 渲染复用 proposal render_docx.py + render_diagrams.py(兄弟 skill,同 patent 范式)
- 不用 proposal quality_check.py(按申报书章节名误报"缺章节"),改 §8 人工自检清单
- 同步 SKILL_LIST.md(13→14)+ PROGRESS.md

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-06-05 15:46:06 +08:00

3 Commits