LabGuardian 论文阅读笔记 03:从面包板图像到端口级图推理

前两篇笔记分别讨论了 SINA 的图像到网表流程,以及 Toastboard 的规则诊断与教学反馈。这一篇把昨天读的两项工作合并起来,因为它们刚好位于 LabGuardian 技术链的两端:

1
2
3
4
5
2019 面包板图像识别系统
照片 → 元件与孔洞 → 连接关系 → 拓扑与简单预警

GNN-ACLP
结构化端口级网表 → 局部子图 → 缺失连接预测

第一篇告诉我,普通手机拍照、面包板孔洞识别和拓扑恢复早在 2019 年就有人做过。第二篇告诉我,得到结构化网表后,可以用端口级图和 SEAL 学习缺失连接。

把它们连起来以后,真正属于 LabGuardian 的研究空白也更清楚了:不是笼统地“识别面包板”或“使用 GNN”,而是把端子视觉证据可靠地映射到 Hole-ID 和 electrical node,恢复可审计网表,再输出经过参考电路验证的具体图编辑。

读完后先记住的结论

第一,从手机照片识别面包板电路本身不是新任务。 2019 年的论文已经演示了元件识别、孔洞检测、拓扑生成和未连接/短路预警。

第二,早期系统主要提供少量成功案例,没有数据集规模、测试划分、准确率、速度或失败分析。因此它能证明流程可行,不能证明系统可靠。

第三,从孔洞到端子 Hole-ID 是两篇论文之间最关键的断层。 早期视觉论文没有建立可复现的端子级孔位映射任务;GNN-ACLP 则直接从已经正确的结构化网表出发。

第四,GNN-ACLP 的端口级图值得借鉴。只把整个元件当成一个节点,会丢失 IC pin、MOS Gate/Drain/Source 和极性端子的语义。

第五,SEAL 的候选边 Accuracy 和 ROC-AUC 不能理解成完整电路修复率。它主要做单顶点删除后的连接预测,不覆盖多接、错孔、极性错误和多故障整图修复。

第六,有教师参考电路时,确定性图差分仍应作为主要判定器;GNN 更适合在上游不确定时排序候选,而不是重新猜已知答案。

第七,LabGuardian 最值得写成论文贡献的是一条完整证据链:

1
2
3
4
5
6
7
端子关键点
→ Hole-ID
→ electrical_node_id
→ 端口级观测网表
→ 参考图差分
→ 可验证图编辑
→ 基于证据的教学反馈

两篇论文各自解决了哪一段

项目 2019 面包板识别系统 GNN-ACLP
输入 普通面包板照片 不完整的模拟电路网表
主要问题 元件、孔洞、连接和拓扑识别 缺失端口连接预测
图粒度 元件、连通点和连接线 元件端口级节点
主要方法 Lab 颜色特征、二值化、孔洞规则 SEAL、DRNL、DGCNN
输出证据 少量案例图 候选边 Accuracy、ROC-AUC、速度
没有覆盖 严格 Hole-ID 与定量网表评估 照片、孔位恢复与完整图修复
对我的作用 直接相关早期系统与传统基线 下游学习型候选排序方法

接下来分别记录两篇,再统一讨论它们之间怎样衔接。

第一篇:2019 年面包板图像识别系统

基本信息

  • 中文题目:基于图像处理的面包板功能电路智能自动识别系统开发
  • 英文题目:Development of Intelligent Automatic Recognition System of Breadboard Function Circuit Based on Image Processing
  • 作者:鲁赛潮、曾艺洁、谢飞
  • 期刊:《电路与系统》,2019 年第 8 卷第 3 期
  • DOI:10.12677/ojcs.2019.83005
  • 平台:Android + OpenCV
  • 元件示例:电解电容、瓷片电容、发光二极管和导线

这篇只有 7 页,系统与测试描述比较简略。它更适合被视作早期原型,而不是可以直接比较性能的基准。

整个系统想做什么

论文的任务与 LabGuardian 很接近:

1
2
3
4
5
手机拍摄普通面包板
→ 识别元件
→ 识别孔洞和连接关系
→ 生成电路拓扑
→ 提示未连接或短路

这意味着我不能再把“首次从普通手机照片自动识别面包板电路”写成创新点。真正需要证明的是精度、泛化、错误边界与教学效果。

元件识别:人工颜色与形状特征

作者为不同元件保存关键特征像素。例如:

  • 电解电容的外壳文字或纹理;
  • 瓷片电容的主体颜色;
  • LED 的封装颜色和高亮区域。

方法先把 RGB 图像转换到 Lab 颜色空间,再构造颜色、面积和边界曲率等特征,计算待识别区域与样本特征中心的距离。

1
2
3
4
5
人工选择特征区域
→ RGB 转 Lab
→ 颜色、面积和曲率
→ 与模板特征计算距离
→ 分割并定位元件

这更接近手工模板或颜色特征库,不是现代大规模训练数据集。它在背景简单、光照稳定和元件外观固定时可能有效,但容易受到以下因素影响:

  • 光照和白平衡;
  • 元件厂商与封装颜色;
  • 反光与阴影;
  • 旋转和尺度;
  • 遮挡与跳线交叉;
  • 拍摄距离和相机差异。

论文没有针对这些条件进行分组实验。

孔洞与连接关系识别

这是整篇对 LabGuardian 最有价值的部分。作者描述的流程是:

  1. 将面包板图片二值化;
  2. 寻找极小值区域,获得可能的孔洞;
  3. 根据孔洞规则排列的先验,只保留方形候选;
  4. 将孔洞与面包板横向连通区域关联;
  5. 由等电位孔组得到元件连接关系。

它的本质是:

1
2
3
检测孔洞
→ 按固定面包板结构给孔洞分组
→ 落在同一孔组中的端子视为电气连接

这与 LabGuardian 的 BoardSchema 和 electrical node 思路一致。但论文没有说明:

  • 怎样为每个孔生成稳定唯一编号;
  • 怎样识别面包板方向;
  • 怎样校正透视畸变;
  • 怎样把元件的具体端子映射到孔;
  • 端子落在孔边界时怎样处理歧义;
  • 怎样处理分段电源轨和不同面包板型号;
  • 孔洞、端子和连接恢复的准确率。

所以它证明了“孔洞可以帮助恢复连接”,没有定义今天所需的 Hole-ID 评估协议。

电路拓扑怎样表示

系统将电路表示成图,节点或实例标识包括:

类型 标识示例
发光二极管 LED1
瓷片电容 C1
连通点 N1
连接线 L1

论文展示了拓扑图、边列表,以及两类预警:

  • 可能存在未连接端点;
  • 可能存在短路。

但它没有提供标准参考网表,也没有说明短路定义、拓扑比较算法和错误定位准确率。因此不能从一张成功图推断系统能够稳定恢复任意面包板网表。

Android 原型提供了什么

软件支持从相册或相机导入图片、选择识别元件或完整电路、展示结果、显示拍摄要求,并让用户反馈是否识别成功。

这说明作者已经意识到拍摄质量会影响结果,但没有把拍摄要求变成受控实验变量,也没有报告用户反馈统计。

实验真正证明了什么

论文展示了:

  1. 单个 LED 识别;
  2. 包含瓷片电容、LED 和绿色导线的面包板电路识别;
  3. 元件位置、连通区域、拓扑图以及预警结果。

这些结果足以说明至少一个原型流程可以运行,却没有报告:

  • 图片、独立电路和元件实例数量;
  • 训练、调参与测试划分;
  • 元件识别 Precision、Recall 或 Accuracy;
  • 孔洞检测和端子 Hole-ID 准确率;
  • 网表完全匹配率;
  • 错误诊断准确率;
  • 不同手机、角度、光照和面包板下的结果;
  • 运行延迟、失败案例和基线比较。

因此,这篇的核心价值是“任务很直接”,不是“统计证据很强”。

怎样把它变成传统基线

元件识别基线可以实现为:

1
2
3
4
5
RGB → Lab
→ 颜色阈值或颜色距离
→ 连通域与面积过滤
→ 形状特征
→ 元件类别

孔洞检测基线可以实现为:

1
2
3
4
5
灰度或二值化
→ 暗孔候选
→ 方形与面积过滤
→ 行列聚类
→ 面包板孔阵列

但传统孔阵列检测和端子 Hole-ID 是不同任务。前者评价“孔在哪里”,后者评价“这个端子插入哪一个孔”。不能把两者的结果混在一张表中。

还要同时报告传统方法的类别覆盖率。若传统方法只支持 LED、电容和少数彩色导线,不能通过删除困难类别得到一个虚高的总体准确率。

第二篇:GNN-ACLP 端口级连接预测

基本信息与版本更新

  • 题目:Graph Neural Networks Based Analog Circuit Link Prediction
  • 作者:Guanyuan Pan、Tiansheng Zhou、Jianxiang Zhao 等
  • 输入:不完整的模拟电路网表
  • 输出:缺失元件端口与其他端口之间的连接预测
  • 核心方法:SEAL、DRNL、DGCNN
  • 配套工作:Netlist Babel Fish 与 SpiceNetlist

我最初阅读的是 arXiv 版本。现在已经可以确认,论文正式发表于 Engineering Applications of Artificial Intelligence,第 163 卷,文章号 113035,DOI 为 10.1016/j.engappai.2025.113035。后续论文写作应引用正式版本。

它到底定义了什么任务

论文先讨论 circuit completion:给定完整网表和删除了一个元件及全部连接的残缺副本,需要预测缺失元件类别和连接。

链路预测实验进一步简化为:

1
2
3
4
5
完整网表
→ 转为端口级图
→ 随机删除一个顶点及邻接边
→ 已知被删除顶点的类型
→ 判断它原来与哪些候选顶点相连

对每个候选端口,模型解决二分类:

1
2
目标端口 u + 候选端口 v + 局部拓扑
→ 是否应该存在边 (u, v)

这不是从完全未知的电路中自由生成元件,也不是对任意多故障进行完整修复。

为什么端口级图重要

论文把一个元件的不同端口拆成不同节点。例如 MOS 管需要保留:

1
2
3
NMOS.Drain
NMOS.Source
NMOS.Gate

如果只把整个元件当成一个节点,模型只能知道两个元件发生了连接,不知道具体是哪两个引脚相连。

对 LabGuardian 来说,图中至少要保存:

1
2
3
4
component_id
→ terminal_id / pin_id
→ hole_id
→ electrical_node_id

只有到这个粒度,诊断模块才能指出“U1 的 VCC 引脚接到了错误节点”,而不是笼统地说“U1 接错了”。

SEAL 怎样判断候选连接

SEAL 的关键不是分别编码两个端口,而是围绕候选节点对提取局部包围子图。

1
2
3
4
5
6
候选端口对
→ 2-hop enclosing subgraph
→ DRNL 标记节点相对两个目标的位置
→ 拼接端口或元件类型特征
→ DGCNN 编码局部子图
→ 输出候选边概率

局部包围子图

模型可以看到两个候选端口之间的中间节点、邻域连接方式和局部电路模式,而不是只比较两个孤立向量。

DRNL

Double-Radius Node Labeling 根据其他节点到两个目标节点的相对距离生成结构标签,让模型知道节点在候选边周围扮演什么角色。

DGCNN

DGCNN 将带结构标签和端口类型的局部子图编码为分类结果。对缺失顶点与图中不同候选端口重复判断,就得到候选邻居集合。

Netlist Babel Fish 的边界

作者还用 RAG、LLM 和 SPICE 知识库进行 SPICE 与 JSON 转换。但实际数据处理仍包括:

1
2
3
4
PySpice 语法检查
→ LLM/RAG 转换
→ 人工检查和修正
→ 生成最终 JSON 与 SPICE

附录扩展实验只有少量例子。这部分只能证明可行性,不能证明 LLM 已经稳定、无幻觉地完成网表转换。

数据集

数据集 图数量 类别数 平均节点数 平均边数
SpiceNetlist 775 10 13.78 15.60
Image2Net 1960 13 26.36 37.80
Masala-CHAI 4057 13 15.72 19.97
AnalogGenie 4064 9 63.89 168.73

SpiceNetlist 类别明显不平衡。电流镜和电流源有 387 个,放大器有 258 个,而振荡器只有 18 个,电压与电源管理电路只有 15 个。因此总体 Accuracy 可能掩盖稀有类别问题。

主要结果

同数据集实验报告:

方法 SpiceNetlist Accuracy Image2Net Accuracy Masala-CHAI Accuracy
Baseline 77.96% 85.72% 80.40%
Conventional Split, GNN-ACLP 89.04% 94.90% 94.29%
5-fold CV, GNN-ACLP 94.04% 97.10% 96.42%

五折 ROC-AUC 分别为 0.9866、0.9979 和 0.9959。跨数据集 Accuracy 报告为 92.05% 到 99.07%。

SpiceNetlist 上的精度与速度比较为:

方法 Accuracy ROC-AUC 平均推理时间
Baseline 77.96% 0.8774 0.0640 s
ScaLed 82.88% 0.9136 0.2700 s
SUREL+ 70.80% 0.9351 0.0023 s
SEAL 94.04% 0.9866 0.0836 s

SEAL 在三个较稀疏数据集上表现较好,但在更稠密的 AnalogGenie 上运行超过 48 小时仍未完成。此时 WLNM 和多个简单启发式方法也取得较高结果。

这说明 common neighbors、Jaccard、Adamic-Adar 等方法必须作为基线。复杂模型不一定在所有图规模上都值得使用。

高结果背后的实验风险

测试集参与 early stopping

论文根据 test accuracy 是否继续提升来决定停止训练,测试集参与了模型选择。更严格的实验必须用 validation metric 选模型,测试集只在冻结后使用一次。

单顶点删除不是完整修复

实验每次从测试图随机选择一个顶点,预测它的连接,再重复多次取平均。它没有直接回答:

  • 多条边同时错误时能否恢复;
  • 多余边能否删除;
  • 引脚交换或极性错误能否处理;
  • 正确电路是否会被错误修改;
  • 应用全部建议后整图是否与参考图一致。

所以 94% 的候选边 Accuracy 不等于 94% 的电路被完全修好。

Accuracy 和 ROC-AUC 不够

实际修复更关心正确建议排在第几位,以及应用建议后是否恢复整图。至少还需要 Hits@K、MRR、Top-1 修复率、Exact Repair Rate、正确电路误修改率,以及拒绝后的 Precision/Coverage。

多个合法答案

模拟电路可能存在多个功能上合理的连接。模型输出不同于原网表,并不必然代表电气上错误。LabGuardian 的课堂任务通常有明确教师参考图,可以把问题限定得更清楚。

两篇论文之间缺失的关键层

把两项工作直接拼接,会得到一个看似完整、实际断裂的流程:

1
2
3
4
5
照片
→ 早期方法得到元件与孔洞
→ ???
→ GNN-ACLP 所需的正确端口级网表
→ 缺失连接候选

中间的问号至少包含:

  1. 元件检测;
  2. 每个元件的电气端子关键点;
  3. 面包板方向与透视校正;
  4. 端子到离散 Hole-ID 的映射;
  5. Hole-ID 到 electrical node 的合并;
  6. 端口类型、极性和 IC pin 编号;
  7. 观测网表及其不确定性;
  8. 与教师参考网表的节点对应。

这些恰好是 LabGuardian 应重点建立真值和实验的部分。

LabGuardian 应该怎样衔接两端

上游:从照片形成带证据的端口级图

1
2
3
4
5
6
7
照片
→ 元件框、类别与方向
→ 端子关键点
→ Homography / BoardSchema
→ Hole-ID 候选和置信度
→ electrical_node_id
→ 端口级观测网表

每条网表连接不能只保存一个最终节点,还应保留来源证据:关键点坐标、Hole-ID 候选、映射距离、置信度和歧义状态。

下游:参考图差分优先

教师已经给出目标电路时,观测图可以直接与参考图比较:

1
2
3
4
5
observed graph + reference graph
→ 元件/端子对应
→ expected edges - observed edges
→ observed edges - expected edges
→ 结构化错误与修复操作

VF2、约束匹配和确定性规则可以给出可审计差异。GNN 更适合处理:

  • 多个 Hole-ID 候选排序;
  • 外观相同元件的对应排序;
  • 漏检导致的候选缺失元件或端子;
  • 没有完整参考网表时的异常连接提示。

输出应是图编辑,而不只是补边

面包板错误至少需要:

1
2
3
4
5
6
7
AddEdge
DeleteEdge
ReassignEdge
SwapPin
ReversePolarity
InsertMissingComponent
DeleteExtraComponent

每个操作都要绑定 component、terminal、observed hole、expected electrical node 和证据。应用候选编辑以后还要重新验证整图是否与参考图一致。

两篇论文共同导出的实验设计

1. 传统视觉基线

在同一批冻结图片上比较:

1
2
3
4
5
T:二值化孔洞候选 + 行列聚类
A:图像空间最近孔
B:Homography 后最近孔
C1:B + 元件级几何约束
C2:C1 + 歧义拒识

T 评价孔阵列检测,A/B/C 评价端子到 Hole-ID。两类任务要分别报告。

2. Oracle 分层实验

层级 输入 目的
Oracle-Graph 真值观测网表 + 真值参考网表 验证图诊断上限
Oracle-Hole 真值 Hole-ID + 自动网表恢复 验证节点合并与网表生成
End-to-End 原始照片 验证完整系统

如果 Oracle-Graph 仍不能正确诊断,问题在图规则;如果 Oracle-Graph 很高而 End-to-End 很低,问题主要在视觉或 Hole-ID。

3. 图推理基线

1
2
3
4
R0:参考网表 + 确定性图差分
R1:common neighbors / Jaccard / Adamic-Adar
R2:SEAL + DGCNN
R3:确定性候选生成 + GNN 排序 + 规则验证

R0 是有参考电路场景下最重要的基线。R3 最符合 LabGuardian 的实际定位。

4. 数据划分

必须先按独立基础电路、面包板、搭建者或采集批次划分训练、验证和测试集,再在各集合内部生成错误版本。

不能先给同一电路生成大量相似编辑,再随机拆分,否则模型会记住基础拓扑和固定拍摄环境。

还应保留多名学生独立搭建的真实故障测试集,验证合成图编辑能否迁移到真实错误。

5. 指标

视觉与映射层:

  • 分类别检测和关键点结果;
  • terminal-to-hole Accuracy;
  • electrical node Accuracy;
  • Accepted Precision 与 Coverage;
  • 不同光照、角度、相机和面包板下的结果。

网表与诊断层:

  • edge Precision、Recall、F1;
  • Exact Netlist Match;
  • Hits@K 和 MRR;
  • 编辑操作 Precision、Recall、F1;
  • Exact Repair Rate;
  • 正确电路误报率和误修改率;
  • 单故障与多故障分别报告。

反馈层:

  • 是否指出正确元件;
  • 是否指出正确端子和孔位;
  • 修复建议是否可执行;
  • 是否包含证据之外的幻觉;
  • 教师与学生对反馈有效性的评分。

这两篇迫使我怎样重写贡献

不能再写:

我们首次使用手机照片自动识别面包板元件和连接错误。

也不能写:

我们使用 GNN,因此能够智能修复电路。

更稳妥的贡献方向是:

  1. 用姿态模型同时定位元件主体和电气端子;
  2. 通过透视校正和面包板几何将连续关键点映射为离散 Hole-ID;
  3. 对歧义映射进行显式拒识,并报告 Precision/Coverage;
  4. 从 Hole-ID 恢复可审计的端口级网表;
  5. 用参考网表和确定性图比较定位多种接线错误;
  6. 必要时用局部图模型对不确定候选排序;
  7. 用 Oracle 到 End-to-End 的分层实验定位误差来源;
  8. 让 LLM 只根据已验证结构化证据生成反馈。

这比单纯比较 YOLOv8、YOLO11 或不同 GNN 的 Accuracy 更贴近导师要求的完整系统结果。

当前数据是否适合把 GNN 作为核心贡献

还不适合。

GNN-ACLP 使用数百到数千张电路图,而 LabGuardian 当前独立基础电路很少。对六种电路生成大量照片或合成故障,并不等于获得大量独立拓扑。

近期更稳妥的顺序是:

  1. 扩大独立电路类型、元件类别和真实搭建样本;
  2. 建立端口、Hole-ID、electrical node 和网表真值;
  3. 完成确定性诊断闭环;
  4. 加入简单图启发式基线;
  5. 数据足够后再复现 SEAL 或候选排序 GNN;
  6. 用独立电路和真实故障测试泛化。

如果数据暂时不足,GNN 应被写成探索性增强或未来工作,而不是让整篇论文结论依赖它。

给自己的统一待办

  • [ ] 将 2019 工作写成直接相关的早期视觉原型;
  • [ ] 准确说明它采用颜色/形状特征、孔洞规则和案例验证;
  • [ ] 不替作者补写没有报告的准确率;
  • [ ] 将 GNN-ACLP 写成结构化网表上的端口级链路预测;
  • [ ] 明确它没有解决实物照片、Hole-ID 和完整多类型修复。

数据与图表示

  • [ ] 固定 component_id、terminal_id、hole_id 和 electrical_node_id;
  • [ ] 为每个正确电路保存标准端口级网表;
  • [ ] 保存单故障和多故障的最小编辑脚本;
  • [ ] 按基础电路划分后再生成故障;
  • [ ] 增加不同光照、相机、角度、面包板和搭建者。

实验

  • [ ] 冻结同一批视觉预测做 Hole-ID 消融;
  • [ ] 先完成 Oracle-Graph,再做 Oracle-Hole 和 End-to-End;
  • [ ] 加入传统孔洞检测、确定性图差分和简单链路启发式;
  • [ ] 数据足够后加入 SEAL;
  • [ ] 分类别报告跳线、IC、极性元件和不同故障;
  • [ ] 报告整图恢复、修复成功和正确电路误修改率。

反馈

  • [ ] 图推理只输出结构化错误和候选修复;
  • [ ] 规则验证器检查候选是否合法;
  • [ ] LLM 只根据已验证证据生成语言;
  • [ ] 评价具体位置、可执行性、正确性和幻觉。

读完后的总体判断

2019 面包板识别论文证明了“从普通照片得到元件、孔洞和拓扑”的早期可行性,但没有提供严格定量基准。GNN-ACLP 证明了结构化端口级网表的局部拓扑可以用于缺失连接预测,但它的高候选边分类结果不等于完整电路修复。

两篇合起来最重要的结论,不是“传统方法已经过时”或“应该立刻加入 GNN”,而是它们之间仍缺少一条可审计的中间链路:

1
2
3
4
5
元件端子在哪里
→ 插入哪个物理孔位
→ 属于哪个电气节点
→ 恢复出什么观测网表
→ 与参考图相差哪些编辑

LabGuardian 如果能用严格数据划分、逐级真值和端到端实验闭合这条链路,再将不确定候选交给学习模型排序、将确定结构交给规则验证,就会比“做出一个能运行的 Demo”或“报告一个很高的 AUC”更有论文说服力。

原文入口

面包板图像识别系统

GNN-ACLP


LabGuardian 论文阅读笔记 03:从面包板图像到端口级图推理
https://liusuan110.github.io/2026/08/30/labguardian-paper-reading-03-vision-to-port-graph/
作者
Lusu
发布于
2026年8月30日
许可协议