LabGuardian 论文阅读笔记 01:SINA 与“图像到网表”的实验怎么做
这是一份写给我自己的阅读笔记。
我现在刚开始系统读论文,所以不要求一遍就把所有算法细节吃透。这份笔记先回答三个最实际的问题:
- 这篇论文到底解决了什么问题?
- 它的实验为什么比我现在的 LabGuardian 实验完整?
- 哪些设计可以直接变成我接下来的实验任务?
我读的第一篇是 SINA: A Fully Automated Circuit Schematic Image to Netlist Generator Using Artificial Intelligence。它识别的是电路原理图,不是面包板照片,但它和 LabGuardian 都需要完成下面这条链:
1 | |
所以我读它的目的不是照搬方法,而是学习一篇“图像到网表”论文应该怎样组织系统和实验。
读完后先记住的三句话
第一,元件检测准确不等于电路识别准确。
第二,实验必须从局部视觉指标一直做到网表和功能指标。
第三,LLM 适合解释已经得到的结构化结果,不适合代替确定性的电路判断。
如果过一段时间忘记了论文细节,只要还记得这三句,这篇就没有白读。
论文基本信息
- 论文:SINA: A Fully Automated Circuit Schematic Image to Netlist Generator Using Artificial Intelligence
- 当前阅读版本:2026 年 7 月公开的 arXiv 扩展稿
- 输入:IC 级或 PCB 级电路原理图
- 输出:SPICE 兼容网表
- 关键词:YOLO、关键点、连通域、OCR、VLM、图同构、Ngspice
需要提醒自己:我读的是预印本。虽然页面使用了 IEEE Transactions 的排版,但在没有进一步核实前,不能把它写成已经正式发表于该期刊。
它真正想解决的问题
作者总结了已有图像到网表方法的几个不足:
- 只能处理一种原理图风格;
- 元件检测容易受到噪声、旋转和手绘影响;
- 检出了元件,却不一定能恢复正确连接;
- 容易把导线交叉误判成电气连接;
- OCR 或 VLM 可能把位号和参数分配给错误元件。
这里和我的工作最相关的是第三点。
LabGuardian 现在已经有比较好的 YOLO 检测结果,但这只能证明模型“看见了元件”。它还没有充分证明:
- 端子是否落在正确的 Hole-ID;
- Hole-ID 是否转换成正确的电气节点;
- 电气节点是否组成正确网表;
- 错误诊断是否真的指出了正确元件和位置。
所以导师说“最关键的结果还没有验证”是准确的。我的下一阶段不能继续只围绕 mAP 打转。
我对 SINA 流程的理解
SINA 不是一个单独的神经网络,而是四个阶段组成的系统:
1 | |
1. 元件检测
作者用 YOLOv11 检测元件,同时让 GPT-4o 独立判断元件类型和数量。如果两边不一致,就把结果标记出来,而不是假装系统一定正确。
我对这个设计的理解是:VLM 在这里更像第二个检查者,不是真值来源。作者还把温度设为 0,目的是减少同一输入多次调用得到不同回答。
对我的启发:
1 | |
每个模块只做自己擅长的事情,这条边界不能写乱。
2. 连通关系推断
对于 IC 级原理图,SINA 先遮掉元件,只留下导线,再用连通域标记寻找电气节点。它还单独处理“导线只是交叉,但没有连接点”的情况。
具体像素算法不能直接搬到面包板,因为面包板的连通关系主要由孔位结构决定。不过这里有一个实验思路值得记下来:
对最容易破坏拓扑的特殊情况,单独建立困难样本组,不要让平均准确率把问题盖住。
我目前能想到的 LabGuardian 困难组包括:
- 端子处在两个孔的中间;
- 端子被元件本体遮挡;
- IC 跨越中缝;
- 跳线交叉;
- 跳线颜色与背景接近;
- 大角度拍摄造成明显透视畸变;
- 电源轨存在物理分段;
- 不同面包板的孔距或外观不同。
以后做结果表时,这些样本不能只放几张案例图,最好都有分组统计。
3. PCB 级引脚识别
论文在 PCB 级原理图上比较了普通目标检测和姿态估计模型。作者报告的结果中,YOLOv8m-pose 的 mAP50-95 是 94%,优于参与比较的几个轻量检测模型,但参数量和计算量也更大。
引脚识别又比较了两种方法:
| 方法 | Precision | Recall | F1 |
|---|---|---|---|
| Edge-Scan | 75.4% | 30.7% | 43.6% |
| Skeleton-OCR | 93.6% | 97.1% | 95.3% |
作者用匈牙利算法在预测引脚和真实引脚之间做一对一匹配。这个细节很重要,因为简单最近邻可能让多个预测点同时匹配同一个真实端子。
我需要明确区分三种指标:
| 指标 | 它实际回答的问题 |
|---|---|
| 关键点误差 | 端子坐标是否接近真值? |
| Hole-ID accuracy | 端子是否被分配到正确孔? |
| 网表准确率 | 端子最终是否属于正确电气节点? |
这三个数字可能相关,但不能互相替代。
我最应该学习的实验设计
1. 数据规模按任务分别报告
论文报告了几组不同规模的数据:
- 训练数据:700 多张标注原理图;
- IC 元件检测测试:75 张图、1,000 多个元件、10 类元件;
- IC 端到端网表测试:40 个电路;
- PCB 测试:50 多张图、500 多个元件、3,300 个引脚。
我一开始很容易看到“700 多张”就认为端到端实验也很大,但实际上它的功能验证只有 40 个电路。
给自己的提醒:以后写 LabGuardian 数据集规模时,必须分别写清楚:
- 有多少张图片;
- 有多少个独立搭建的电路;
- 有多少个元件实例;
- 有多少个端子;
- 有多少种故障;
- 训练、验证、测试怎样按电路和搭建者隔离。
不能把数据增强产生的图片数量写成独立电路数量。
2. 从能运行到完全正确,分层评价
SINA 用 Ngspice 对生成网表进行验证,设计了三档指标:
| 指标 | 我的理解 | 论文结果 |
|---|---|---|
| Functional Pass | 网表语法成立,仿真器能运行 | 39/40,97.5% |
| Topological Match | 元件连接结构与真值一致 | 37/40,92.5% |
| Exact Match | 仿真输出与真值在 5% 误差内一致 | 36/40,90.0% |
“能够运行”明显弱于“连接正确”,“连接正确”也不一定等于“功能结果一致”。这套递进关系非常适合借鉴。
LabGuardian 可以对应成:
| 层级 | 我应该报告什么 |
|---|---|
| 元件 | 分类别 Precision、Recall、mAP、漏检率 |
| 端子 | 关键点误差、端子召回率 |
| 孔位 | Hole-ID exact accuracy |
| 网表 | 端子到电气节点准确率、拓扑完全匹配率 |
| 诊断 | 错误类型 F1、错误位置准确率、整图完全正确率 |
| 反馈 | 事实正确率、具体性、幻觉率、教师和学生评分 |
3. 用图结构比较网表
SINA 把网表表示成二部图:一类节点表示元件,另一类节点表示电气网络,边表示元件与网络之间的连接。这样可以用图同构判断结构是否相同,不会因为节点编号不同而误判。
LabGuardian 已经使用 VF2,因此我不需要再把“用了 VF2”当成主要实验贡献。真正需要证明的是:
- 生成网表与真值完全同构的比例;
- 元件连接正确率;
- 端子连接正确率;
- 节点被错误合并的次数;
- 一个真实节点被错误拆开的次数;
- 网表不完全正确时,诊断是否仍然可能正确。
我不能直接相信或照搬的地方
1. 96.67% 不是逐电路端到端准确率
论文将文本提取准确率、元件检测 F1 和电路结构准确率相乘,得到 96.67% 的 Overall Accuracy。
这个数字看起来很完整,但它不是“100 个电路中有 96.67 个全部识别正确”。性质不同的指标相乘,也不等于真正的逐样本端到端正确率。
我的论文不要为了得到一个漂亮总分机械相乘。端到端成功率应该直接按独立测试电路统计。
2. 基线对比并没有覆盖所有复杂情况
SINA 与 Masala-CHAI 对比时,只选择双方都支持的元件,并且排除了 Masala-CHAI 无法处理的交叉线电路。
这样做可以让基线跑起来,但结论只能覆盖这 40 个经过筛选的电路,不能扩大成“所有复杂原理图都领先 2.72 倍”。
给自己的提醒:以后做 LabGuardian 基线时,既要有共同能力范围内的公平对比,也要单独报告完整测试集覆盖率。不能悄悄删掉基线失败的样本。
3. 原理图和实物面包板不是同一个问题
SINA 面对的是二维符号、文字和导线;LabGuardian 面对的是透视、遮挡、反光、元件实体、不同面包板以及离散孔阵列。
因此我可以借鉴它的任务拆分和指标,但不能直接声称它的连通域方法适用于面包板,也不能拿它的 96.67% 与我的 mAP 做横向比较。
4. 端到端电路数量仍然偏少
40 个电路足以做可行性验证,但不足以充分证明跨电路、跨来源和跨风格泛化。这一点和我现在只有 6 类电路的问题方向相同,只是它做得更完整。
这篇论文转化出的实验任务
下面不是文章结论,而是给我自己的待办。
P0:先建立端到端真值
- [ ] 确定独立测试电路清单;
- [ ] 标注每个元件实例和类别;
- [ ] 标注每个端子的真实接触位置和 Hole-ID;
- [ ] 从 Hole-ID 生成真值电气节点;
- [ ] 为每个电路保存标准网表;
- [ ] 设计可控的错误类型和错误位置;
- [ ] 按电路、搭建者、相机和面包板划分数据,避免泄漏。
P1:完成 Hole-ID 消融
必须冻结同一批 YOLO-Pose 预测,只改变映射方法:
1 | |
要报告:
- [ ] 全部可评估端子的 Top-1 Hole Accuracy;
- [ ] Accepted Precision;
- [ ] Coverage;
- [ ] Risk-Coverage 曲线;
- [ ] 按元件类别、拍摄角度、遮挡和歧义程度分组的结果。
注意:当前 C 更准确的名称应该是“Homography + 元件级几何约束候选选择”,除非以后真的完成跨元件的全局优化,否则不要写成全局约束优化器。
P2:补齐网表和诊断指标
- [ ] 端子到电气节点准确率;
- [ ] 网表完全同构率;
- [ ] 节点合并错误;
- [ ] 节点拆分错误;
- [ ] 错误类型 Precision、Recall、F1;
- [ ] 错误位置准确率;
- [ ] 从上传图片到最终诊断的整图成功率;
- [ ] 逐阶段失败原因统计。
P3:统一条件后再比较模型和平台
- [ ] YOLOv8s-pose;
- [ ] YOLO11n-pose;
- [ ] YOLO11s-pose;
- [ ] 统一训练集、测试集、输入尺寸和训练轮数;
- [ ] 报告参数量、计算量、延迟和分类型结果;
- [ ] Intel NPU 之外增加一种 Jetson 平台。
模型和平台是补强实验,不能代替 Hole-ID 和网表闭环。
P4:最后评价 LLM 反馈
LLM 只读取结构化错误码和证据。需要评价:
- [ ] 是否正确复述错误;
- [ ] 是否指出具体元件、端子或孔位;
- [ ] 是否给出能执行的修复步骤;
- [ ] 是否编造证据中没有的内容;
- [ ] 教师评分;
- [ ] 学生评分。
我现在对 LabGuardian 主线的理解
LabGuardian 的核心不应该写成“使用 YOLO 检测面包板元件”。更完整的表述应该是:
在真实拍摄条件下,将元件端子映射到离散孔位,恢复可审计的电气网表;再通过确定性图匹配定位接线错误,最后让受证据约束的语言模型生成教学反馈。
这篇论文给我最大的帮助,是让我看见了论文实验的终点应该在哪里:不是组件 mAP,而是系统能否从照片走到正确网表和正确诊断。
还没有解决的问题
- SINA 的端到端真值具体如何人工制作?
- 它的 circuit structure accuracy 是怎样把 connection accuracy 和 structure score 合成的?
- 论文报告的训练时间和推理时间为什么使用分钟,统计单位是否是整个测试集?
- 40 个电路的 5% 功能误差怎样处理多输出和不同时刻?
- 对 LabGuardian 来说,是否需要电路仿真,还是拓扑和错误诊断已经足够?
后面读论文时,如果找到这些问题的答案,再回来补充。