LabGuardian 论文阅读笔记 03:从面包板图像到端口级图推理
前两篇笔记分别讨论了 SINA 的图像到网表流程,以及 Toastboard 的规则诊断与教学反馈。这一篇把昨天读的两项工作合并起来,因为它们刚好位于 LabGuardian 技术链的两端:
1 | |
第一篇告诉我,普通手机拍照、面包板孔洞识别和拓扑恢复早在 2019 年就有人做过。第二篇告诉我,得到结构化网表后,可以用端口级图和 SEAL 学习缺失连接。
把它们连起来以后,真正属于 LabGuardian 的研究空白也更清楚了:不是笼统地“识别面包板”或“使用 GNN”,而是把端子视觉证据可靠地映射到 Hole-ID 和 electrical node,恢复可审计网表,再输出经过参考电路验证的具体图编辑。
读完后先记住的结论
第一,从手机照片识别面包板电路本身不是新任务。 2019 年的论文已经演示了元件识别、孔洞检测、拓扑生成和未连接/短路预警。
第二,早期系统主要提供少量成功案例,没有数据集规模、测试划分、准确率、速度或失败分析。因此它能证明流程可行,不能证明系统可靠。
第三,从孔洞到端子 Hole-ID 是两篇论文之间最关键的断层。 早期视觉论文没有建立可复现的端子级孔位映射任务;GNN-ACLP 则直接从已经正确的结构化网表出发。
第四,GNN-ACLP 的端口级图值得借鉴。只把整个元件当成一个节点,会丢失 IC pin、MOS Gate/Drain/Source 和极性端子的语义。
第五,SEAL 的候选边 Accuracy 和 ROC-AUC 不能理解成完整电路修复率。它主要做单顶点删除后的连接预测,不覆盖多接、错孔、极性错误和多故障整图修复。
第六,有教师参考电路时,确定性图差分仍应作为主要判定器;GNN 更适合在上游不确定时排序候选,而不是重新猜已知答案。
第七,LabGuardian 最值得写成论文贡献的是一条完整证据链:
1 | |
两篇论文各自解决了哪一段
| 项目 | 2019 面包板识别系统 | GNN-ACLP |
|---|---|---|
| 输入 | 普通面包板照片 | 不完整的模拟电路网表 |
| 主要问题 | 元件、孔洞、连接和拓扑识别 | 缺失端口连接预测 |
| 图粒度 | 元件、连通点和连接线 | 元件端口级节点 |
| 主要方法 | Lab 颜色特征、二值化、孔洞规则 | SEAL、DRNL、DGCNN |
| 输出证据 | 少量案例图 | 候选边 Accuracy、ROC-AUC、速度 |
| 没有覆盖 | 严格 Hole-ID 与定量网表评估 | 照片、孔位恢复与完整图修复 |
| 对我的作用 | 直接相关早期系统与传统基线 | 下游学习型候选排序方法 |
接下来分别记录两篇,再统一讨论它们之间怎样衔接。
第一篇:2019 年面包板图像识别系统
基本信息
- 中文题目:基于图像处理的面包板功能电路智能自动识别系统开发
- 英文题目:Development of Intelligent Automatic Recognition System of Breadboard Function Circuit Based on Image Processing
- 作者:鲁赛潮、曾艺洁、谢飞
- 期刊:《电路与系统》,2019 年第 8 卷第 3 期
- DOI:10.12677/ojcs.2019.83005
- 平台:Android + OpenCV
- 元件示例:电解电容、瓷片电容、发光二极管和导线
这篇只有 7 页,系统与测试描述比较简略。它更适合被视作早期原型,而不是可以直接比较性能的基准。
整个系统想做什么
论文的任务与 LabGuardian 很接近:
1 | |
这意味着我不能再把“首次从普通手机照片自动识别面包板电路”写成创新点。真正需要证明的是精度、泛化、错误边界与教学效果。
元件识别:人工颜色与形状特征
作者为不同元件保存关键特征像素。例如:
- 电解电容的外壳文字或纹理;
- 瓷片电容的主体颜色;
- LED 的封装颜色和高亮区域。
方法先把 RGB 图像转换到 Lab 颜色空间,再构造颜色、面积和边界曲率等特征,计算待识别区域与样本特征中心的距离。
1 | |
这更接近手工模板或颜色特征库,不是现代大规模训练数据集。它在背景简单、光照稳定和元件外观固定时可能有效,但容易受到以下因素影响:
- 光照和白平衡;
- 元件厂商与封装颜色;
- 反光与阴影;
- 旋转和尺度;
- 遮挡与跳线交叉;
- 拍摄距离和相机差异。
论文没有针对这些条件进行分组实验。
孔洞与连接关系识别
这是整篇对 LabGuardian 最有价值的部分。作者描述的流程是:
- 将面包板图片二值化;
- 寻找极小值区域,获得可能的孔洞;
- 根据孔洞规则排列的先验,只保留方形候选;
- 将孔洞与面包板横向连通区域关联;
- 由等电位孔组得到元件连接关系。
它的本质是:
1 | |
这与 LabGuardian 的 BoardSchema 和 electrical node 思路一致。但论文没有说明:
- 怎样为每个孔生成稳定唯一编号;
- 怎样识别面包板方向;
- 怎样校正透视畸变;
- 怎样把元件的具体端子映射到孔;
- 端子落在孔边界时怎样处理歧义;
- 怎样处理分段电源轨和不同面包板型号;
- 孔洞、端子和连接恢复的准确率。
所以它证明了“孔洞可以帮助恢复连接”,没有定义今天所需的 Hole-ID 评估协议。
电路拓扑怎样表示
系统将电路表示成图,节点或实例标识包括:
| 类型 | 标识示例 |
|---|---|
| 发光二极管 | LED1 |
| 瓷片电容 | C1 |
| 连通点 | N1 |
| 连接线 | L1 |
论文展示了拓扑图、边列表,以及两类预警:
- 可能存在未连接端点;
- 可能存在短路。
但它没有提供标准参考网表,也没有说明短路定义、拓扑比较算法和错误定位准确率。因此不能从一张成功图推断系统能够稳定恢复任意面包板网表。
Android 原型提供了什么
软件支持从相册或相机导入图片、选择识别元件或完整电路、展示结果、显示拍摄要求,并让用户反馈是否识别成功。
这说明作者已经意识到拍摄质量会影响结果,但没有把拍摄要求变成受控实验变量,也没有报告用户反馈统计。
实验真正证明了什么
论文展示了:
- 单个 LED 识别;
- 包含瓷片电容、LED 和绿色导线的面包板电路识别;
- 元件位置、连通区域、拓扑图以及预警结果。
这些结果足以说明至少一个原型流程可以运行,却没有报告:
- 图片、独立电路和元件实例数量;
- 训练、调参与测试划分;
- 元件识别 Precision、Recall 或 Accuracy;
- 孔洞检测和端子 Hole-ID 准确率;
- 网表完全匹配率;
- 错误诊断准确率;
- 不同手机、角度、光照和面包板下的结果;
- 运行延迟、失败案例和基线比较。
因此,这篇的核心价值是“任务很直接”,不是“统计证据很强”。
怎样把它变成传统基线
元件识别基线可以实现为:
1 | |
孔洞检测基线可以实现为:
1 | |
但传统孔阵列检测和端子 Hole-ID 是不同任务。前者评价“孔在哪里”,后者评价“这个端子插入哪一个孔”。不能把两者的结果混在一张表中。
还要同时报告传统方法的类别覆盖率。若传统方法只支持 LED、电容和少数彩色导线,不能通过删除困难类别得到一个虚高的总体准确率。
第二篇:GNN-ACLP 端口级连接预测
基本信息与版本更新
- 题目:Graph Neural Networks Based Analog Circuit Link Prediction
- 作者:Guanyuan Pan、Tiansheng Zhou、Jianxiang Zhao 等
- 输入:不完整的模拟电路网表
- 输出:缺失元件端口与其他端口之间的连接预测
- 核心方法:SEAL、DRNL、DGCNN
- 配套工作:Netlist Babel Fish 与 SpiceNetlist
我最初阅读的是 arXiv 版本。现在已经可以确认,论文正式发表于 Engineering Applications of Artificial Intelligence,第 163 卷,文章号 113035,DOI 为 10.1016/j.engappai.2025.113035。后续论文写作应引用正式版本。
它到底定义了什么任务
论文先讨论 circuit completion:给定完整网表和删除了一个元件及全部连接的残缺副本,需要预测缺失元件类别和连接。
链路预测实验进一步简化为:
1 | |
对每个候选端口,模型解决二分类:
1 | |
这不是从完全未知的电路中自由生成元件,也不是对任意多故障进行完整修复。
为什么端口级图重要
论文把一个元件的不同端口拆成不同节点。例如 MOS 管需要保留:
1 | |
如果只把整个元件当成一个节点,模型只能知道两个元件发生了连接,不知道具体是哪两个引脚相连。
对 LabGuardian 来说,图中至少要保存:
1 | |
只有到这个粒度,诊断模块才能指出“U1 的 VCC 引脚接到了错误节点”,而不是笼统地说“U1 接错了”。
SEAL 怎样判断候选连接
SEAL 的关键不是分别编码两个端口,而是围绕候选节点对提取局部包围子图。
1 | |
局部包围子图
模型可以看到两个候选端口之间的中间节点、邻域连接方式和局部电路模式,而不是只比较两个孤立向量。
DRNL
Double-Radius Node Labeling 根据其他节点到两个目标节点的相对距离生成结构标签,让模型知道节点在候选边周围扮演什么角色。
DGCNN
DGCNN 将带结构标签和端口类型的局部子图编码为分类结果。对缺失顶点与图中不同候选端口重复判断,就得到候选邻居集合。
Netlist Babel Fish 的边界
作者还用 RAG、LLM 和 SPICE 知识库进行 SPICE 与 JSON 转换。但实际数据处理仍包括:
1 | |
附录扩展实验只有少量例子。这部分只能证明可行性,不能证明 LLM 已经稳定、无幻觉地完成网表转换。
数据集
| 数据集 | 图数量 | 类别数 | 平均节点数 | 平均边数 |
|---|---|---|---|---|
| SpiceNetlist | 775 | 10 | 13.78 | 15.60 |
| Image2Net | 1960 | 13 | 26.36 | 37.80 |
| Masala-CHAI | 4057 | 13 | 15.72 | 19.97 |
| AnalogGenie | 4064 | 9 | 63.89 | 168.73 |
SpiceNetlist 类别明显不平衡。电流镜和电流源有 387 个,放大器有 258 个,而振荡器只有 18 个,电压与电源管理电路只有 15 个。因此总体 Accuracy 可能掩盖稀有类别问题。
主要结果
同数据集实验报告:
| 方法 | SpiceNetlist Accuracy | Image2Net Accuracy | Masala-CHAI Accuracy |
|---|---|---|---|
| Baseline | 77.96% | 85.72% | 80.40% |
| Conventional Split, GNN-ACLP | 89.04% | 94.90% | 94.29% |
| 5-fold CV, GNN-ACLP | 94.04% | 97.10% | 96.42% |
五折 ROC-AUC 分别为 0.9866、0.9979 和 0.9959。跨数据集 Accuracy 报告为 92.05% 到 99.07%。
SpiceNetlist 上的精度与速度比较为:
| 方法 | Accuracy | ROC-AUC | 平均推理时间 |
|---|---|---|---|
| Baseline | 77.96% | 0.8774 | 0.0640 s |
| ScaLed | 82.88% | 0.9136 | 0.2700 s |
| SUREL+ | 70.80% | 0.9351 | 0.0023 s |
| SEAL | 94.04% | 0.9866 | 0.0836 s |
SEAL 在三个较稀疏数据集上表现较好,但在更稠密的 AnalogGenie 上运行超过 48 小时仍未完成。此时 WLNM 和多个简单启发式方法也取得较高结果。
这说明 common neighbors、Jaccard、Adamic-Adar 等方法必须作为基线。复杂模型不一定在所有图规模上都值得使用。
高结果背后的实验风险
测试集参与 early stopping
论文根据 test accuracy 是否继续提升来决定停止训练,测试集参与了模型选择。更严格的实验必须用 validation metric 选模型,测试集只在冻结后使用一次。
单顶点删除不是完整修复
实验每次从测试图随机选择一个顶点,预测它的连接,再重复多次取平均。它没有直接回答:
- 多条边同时错误时能否恢复;
- 多余边能否删除;
- 引脚交换或极性错误能否处理;
- 正确电路是否会被错误修改;
- 应用全部建议后整图是否与参考图一致。
所以 94% 的候选边 Accuracy 不等于 94% 的电路被完全修好。
Accuracy 和 ROC-AUC 不够
实际修复更关心正确建议排在第几位,以及应用建议后是否恢复整图。至少还需要 Hits@K、MRR、Top-1 修复率、Exact Repair Rate、正确电路误修改率,以及拒绝后的 Precision/Coverage。
多个合法答案
模拟电路可能存在多个功能上合理的连接。模型输出不同于原网表,并不必然代表电气上错误。LabGuardian 的课堂任务通常有明确教师参考图,可以把问题限定得更清楚。
两篇论文之间缺失的关键层
把两项工作直接拼接,会得到一个看似完整、实际断裂的流程:
1 | |
中间的问号至少包含:
- 元件检测;
- 每个元件的电气端子关键点;
- 面包板方向与透视校正;
- 端子到离散 Hole-ID 的映射;
- Hole-ID 到 electrical node 的合并;
- 端口类型、极性和 IC pin 编号;
- 观测网表及其不确定性;
- 与教师参考网表的节点对应。
这些恰好是 LabGuardian 应重点建立真值和实验的部分。
LabGuardian 应该怎样衔接两端
上游:从照片形成带证据的端口级图
1 | |
每条网表连接不能只保存一个最终节点,还应保留来源证据:关键点坐标、Hole-ID 候选、映射距离、置信度和歧义状态。
下游:参考图差分优先
教师已经给出目标电路时,观测图可以直接与参考图比较:
1 | |
VF2、约束匹配和确定性规则可以给出可审计差异。GNN 更适合处理:
- 多个 Hole-ID 候选排序;
- 外观相同元件的对应排序;
- 漏检导致的候选缺失元件或端子;
- 没有完整参考网表时的异常连接提示。
输出应是图编辑,而不只是补边
面包板错误至少需要:
1 | |
每个操作都要绑定 component、terminal、observed hole、expected electrical node 和证据。应用候选编辑以后还要重新验证整图是否与参考图一致。
两篇论文共同导出的实验设计
1. 传统视觉基线
在同一批冻结图片上比较:
1 | |
T 评价孔阵列检测,A/B/C 评价端子到 Hole-ID。两类任务要分别报告。
2. Oracle 分层实验
| 层级 | 输入 | 目的 |
|---|---|---|
| Oracle-Graph | 真值观测网表 + 真值参考网表 | 验证图诊断上限 |
| Oracle-Hole | 真值 Hole-ID + 自动网表恢复 | 验证节点合并与网表生成 |
| End-to-End | 原始照片 | 验证完整系统 |
如果 Oracle-Graph 仍不能正确诊断,问题在图规则;如果 Oracle-Graph 很高而 End-to-End 很低,问题主要在视觉或 Hole-ID。
3. 图推理基线
1 | |
R0 是有参考电路场景下最重要的基线。R3 最符合 LabGuardian 的实际定位。
4. 数据划分
必须先按独立基础电路、面包板、搭建者或采集批次划分训练、验证和测试集,再在各集合内部生成错误版本。
不能先给同一电路生成大量相似编辑,再随机拆分,否则模型会记住基础拓扑和固定拍摄环境。
还应保留多名学生独立搭建的真实故障测试集,验证合成图编辑能否迁移到真实错误。
5. 指标
视觉与映射层:
- 分类别检测和关键点结果;
- terminal-to-hole Accuracy;
- electrical node Accuracy;
- Accepted Precision 与 Coverage;
- 不同光照、角度、相机和面包板下的结果。
网表与诊断层:
- edge Precision、Recall、F1;
- Exact Netlist Match;
- Hits@K 和 MRR;
- 编辑操作 Precision、Recall、F1;
- Exact Repair Rate;
- 正确电路误报率和误修改率;
- 单故障与多故障分别报告。
反馈层:
- 是否指出正确元件;
- 是否指出正确端子和孔位;
- 修复建议是否可执行;
- 是否包含证据之外的幻觉;
- 教师与学生对反馈有效性的评分。
这两篇迫使我怎样重写贡献
不能再写:
我们首次使用手机照片自动识别面包板元件和连接错误。
也不能写:
我们使用 GNN,因此能够智能修复电路。
更稳妥的贡献方向是:
- 用姿态模型同时定位元件主体和电气端子;
- 通过透视校正和面包板几何将连续关键点映射为离散 Hole-ID;
- 对歧义映射进行显式拒识,并报告 Precision/Coverage;
- 从 Hole-ID 恢复可审计的端口级网表;
- 用参考网表和确定性图比较定位多种接线错误;
- 必要时用局部图模型对不确定候选排序;
- 用 Oracle 到 End-to-End 的分层实验定位误差来源;
- 让 LLM 只根据已验证结构化证据生成反馈。
这比单纯比较 YOLOv8、YOLO11 或不同 GNN 的 Accuracy 更贴近导师要求的完整系统结果。
当前数据是否适合把 GNN 作为核心贡献
还不适合。
GNN-ACLP 使用数百到数千张电路图,而 LabGuardian 当前独立基础电路很少。对六种电路生成大量照片或合成故障,并不等于获得大量独立拓扑。
近期更稳妥的顺序是:
- 扩大独立电路类型、元件类别和真实搭建样本;
- 建立端口、Hole-ID、electrical node 和网表真值;
- 完成确定性诊断闭环;
- 加入简单图启发式基线;
- 数据足够后再复现 SEAL 或候选排序 GNN;
- 用独立电路和真实故障测试泛化。
如果数据暂时不足,GNN 应被写成探索性增强或未来工作,而不是让整篇论文结论依赖它。
给自己的统一待办
Related Work
- [ ] 将 2019 工作写成直接相关的早期视觉原型;
- [ ] 准确说明它采用颜色/形状特征、孔洞规则和案例验证;
- [ ] 不替作者补写没有报告的准确率;
- [ ] 将 GNN-ACLP 写成结构化网表上的端口级链路预测;
- [ ] 明确它没有解决实物照片、Hole-ID 和完整多类型修复。
数据与图表示
- [ ] 固定 component_id、terminal_id、hole_id 和 electrical_node_id;
- [ ] 为每个正确电路保存标准端口级网表;
- [ ] 保存单故障和多故障的最小编辑脚本;
- [ ] 按基础电路划分后再生成故障;
- [ ] 增加不同光照、相机、角度、面包板和搭建者。
实验
- [ ] 冻结同一批视觉预测做 Hole-ID 消融;
- [ ] 先完成 Oracle-Graph,再做 Oracle-Hole 和 End-to-End;
- [ ] 加入传统孔洞检测、确定性图差分和简单链路启发式;
- [ ] 数据足够后加入 SEAL;
- [ ] 分类别报告跳线、IC、极性元件和不同故障;
- [ ] 报告整图恢复、修复成功和正确电路误修改率。
反馈
- [ ] 图推理只输出结构化错误和候选修复;
- [ ] 规则验证器检查候选是否合法;
- [ ] LLM 只根据已验证证据生成语言;
- [ ] 评价具体位置、可执行性、正确性和幻觉。
读完后的总体判断
2019 面包板识别论文证明了“从普通照片得到元件、孔洞和拓扑”的早期可行性,但没有提供严格定量基准。GNN-ACLP 证明了结构化端口级网表的局部拓扑可以用于缺失连接预测,但它的高候选边分类结果不等于完整电路修复。
两篇合起来最重要的结论,不是“传统方法已经过时”或“应该立刻加入 GNN”,而是它们之间仍缺少一条可审计的中间链路:
1 | |
LabGuardian 如果能用严格数据划分、逐级真值和端到端实验闭合这条链路,再将不确定候选交给学习模型排序、将确定结构交给规则验证,就会比“做出一个能运行的 Demo”或“报告一个很高的 AUC”更有论文说服力。