项目定位
解决企业 Agent 落地中最难的“安全写”问题：如何让视觉大模型处理杂乱单据的同时，通过工程护栏保证写进业务数据库的每一笔单据可信、幂等、可审计。
项目 / 现场单据多模态提取与幂等写回 Agent
联系MULTIMODAL WRITE-BACK AGENT
现场单据多模态提取与幂等写回 Agent
Python + VLM + Spring Boot Write-Back
将报修单、维修记录单、验收单（电子 PDF、扫描件、手机照片、Word）抽取为结构化数据，经双模型二次复核、金额规则校验后幂等写入工单系统，不确定字段自动转人工复核。
Multimodal AgentIdempotencyHITLEval
case-study.previewverification
验证证据
先登记后评测
读写双闭环
客户自助验收 CLI
01
项目定位
02
适用场景
适合售后报修、物业巡检、物流单据、医疗/财务表单等“非结构化单据入库 + 绝不允许静默写错”的业务场景。
与 RAG 知识库（「受控读」）互补，向客户与面试官完整证明「安全写回业务系统」的工程边界。
03
技术栈与架构
照片与扫描件由主视觉模型抽取，高风险字段与金额经高分辨率二次复核（Rule R / Rule T）；电子 PDF 结合文本层落地校验，Word 金额由确定性表格规则解析；通过校验的单据携带幂等键写入工单系统，任何不一致或置信度不足均安全路由至人工复核。
Python 3.12Qwen-VL / Gemma-VLJSON SchemaRule ValidationIdempotency-KeySpring Boot APIPytest (217 tests)
01
Multimodal Intake
按文档模态分流处理电子 PDF、Word、扫描件与手机实拍照片，强制严格 JSON Schema 输出。
02
Second-Look & Rules
高风险字段二次查看、金额等式与表格确定性规则校验，拦截模型幻觉与漏读。
03
Idempotent Write-Back
对接工单平台幂等建单与唯一匹配追加评论，弱网超时、5xx、令牌过期重试 0 重复、0 丢单。
04
Pre-registered Eval
60 份合成单据（含 6 类对抗样本）+ 20 张真机实拍屏幕照片，先登记门槛再跑留出集。
04
系统流程
01
单据输入
02
多模态抽取
03
二次查看与规则校验
04
置信度分流
05
幂等写回工单 / 人工复核
06
审计追踪
05
交付结果
0 错写
冻结版本在 20 份留出集（自动写入 13 份、人工复核 7 份）与 20 张实拍照片上自动错写均为 0
0 重复/丢单
真实后端故障注入（断连、5xx、429、Token 过期）下实现 0 重复建单、0 错配工单
217 测试
全部实验预先登记假设与判定门槛（Pre-registration），217 个自动化测试通过
06
我的贡献
多模态管线与护栏
设计主读 + 高清二次查看（Rule R/T）+ Word 表格确定性规则 + 文本落地校验。
幂等写回与后端联动
在工单平台管理端实现 Idempotency-Key 与指纹校验，完成客户端断点续传台账与熔断机制。
07
难点与解决方案
视觉模型静默漏读与幻觉
通过双模型交叉核验、空白字段防编造检测与确定性金额规则，将高风险错写全部转化为显式人工复核。
08
验证证据
先登记后评测
每次管线改动前先提交 PREREGISTRATION 文档锁定指标门槛，如实记录有效与无效实验，绝不事后改标准。
读写双闭环
报修单幂等创建工单并附原件；维修记录单与验收单按姓名+地址+电话精确匹配唯一工单追加记录，绝不误改状态。
客户自助验收 CLI
内置 evaluate 命令，支持客户直接用自有单据运行端到端准确率、复核率与耗时评测。
需要类似 App、后台或 AI MVP 交付，可以直接沟通。
Email: mikehot668@gmail.com · GitHub: github.com/mikehot