论文:焊点缺陷检测算法研究

摘 要


当前我国信息科技的发展, 产业界自动化生产水平越来越高。 具体在电子

产品行业, 随着精细化和自动化的发展, 电子产品的焊点质量的好坏, 深刻地

影响着产品成品的质量和效率, 因此, 对于焊点的缺陷检测也成为了 电子制造

行业亟需解决的问题。 传统的人工检测方法存在费时、 精度低、 效率低下等问

题, 各种新的检测方法应运而生。 其中, 机器视觉运用到自动化生产乃至焊点

检测已经成为当代自动化生产发展的趋势。 世界制造业的发展, 对于电子产品

的焊点自动化检测的智能化技术水平也提出了 更高的要求, 实现焊接产品制造

的自动、 柔性化和智能化已经成为焊接技术发展的新趋势。

具体在机器视觉应用于焊点检测过程中: 首先通过对焊点的图像进行采集,

对焊点区域进行定位, 提取出焊点图像; 再对焊点图像进行特征分析处理, 得

到参数反馈, 以降低人工失误、 提高产品生产效率、 保证产品质量和可靠性。

运用图像处理算法对焊点质量进行检测, 可以在很多的电子元器件加工中进行

使用, 如PCB焊点、 手机GBA焊点等。

本文以手机锂电池中的焊点作为检测对象, 采用机器视觉和图像处理方法,

实现了 对漏焊、 焊点粘连、 虚焊、 过焊的缺陷检测。 本文完成的主要工作包括:

(1)介绍了 常用的图像预处理和特征提取方法, 针对焊点图像的特点, 对图

像进行灰度对比度增强, 同时采用中值滤波去除图像中的噪声; 提出一种合理

的快速迭代分割二值图像的方法;

(2)在充分考虑灰度与空间的关系以及算法复杂度的基础上, 提出了 一种基

于距离变换的分水岭分割算法, 准确的分割出了 目 标区域和检测出粘连区域;

(3)对焊点图像特征的缺陷进行检测和识别。 本文主要识别的是四种类型的

缺陷: 漏焊、 焊点粘连、 虚焊、 过焊;

(4)开发了 系统的控制软件, 实现了 焊点缺陷有效检测, 并给出了 实验结果。

关键词: 焊点检测; 图像处理; 机器视觉; 缺陷焊点检测


目 录

摘 要………………………………………………………………………………………. I

ABSTRACT……………………………………………………………………………………II

目 录……………………………………………………………………………………. IV

Contents……………………………………………………………………………………. . VII

第一章 绪论………………………………………………………………………………. 1

1. 1论文选题背景及意义………………………………………………………………1

1. 2焊点缺陷检测方法概述…………………………………………………………. . 1

1. 3国内外研究现状…………………………………………………………………3

1. 3. 1自动光学检测发展现状………………………………………………3

1. 3. 2焊点缺陷检测算法研究现状……………………………………. . 4

1. 4论文内容安排………………………………………………………………………. . 5

1. 5本章小结………………………………………………………………………………5

第二章 图像处理与机器视觉……………………………………………………6

2. 1引言……………………………………………………………………………………. 6

2. 2图像处理………………………………………………………………………………6

2. 2. 1数字图像的表示……………………………………………………………. 6

2. 2. 2图像处理与分析系统的组成……………………………………………. 7

2. 3图像处理的特点以及应用领域……………………………………………. . 8

2. 3. 1图像处理的特点……………………………………………………………. 8

2. 3. 2图像处理的应用领域………………………………………………………9

2. 4机器视觉……………………………………………………………………………. . 10

2. 4. 1机器视觉系统概述…………………………………………………. 10

2. 4. 2机器视觉应用和发展……………………………………………………. . 12

2. 5本章小结……………………………………………………………………………. . 12

第三章

焊点图像处理算法…………………………………………………………. . 13

3. 1引言……………………………………………………………………………………13

3。 2图像去噪……………………………………………………………………………. . 14

3. 2. 1均值滤波法…………………………………………………………………. . 14

3. 2. 2中值滤波法…………………………………………………………………. 15

3. 2. 3小波去噪……………………………………………………………………. . 16

3. 2. 4形态学滤波法………………………………………………………………. 17

3. 3去噪比较……………………………………………………………………………. . 18

3. 4图像增强……………………………………………………………………………. . 1 9

3. 4. 1灰度变换……………………………………………………………………. 19

3. 4. 2直方图均衡化………………………………………………………………. 20

3. 5图像分割……………………………………………………………………………. . 22

3. 5. 1边缘分割……………………………………………………………………. . 22

3. 5. 2阈值分割……………………………………………………………. . 27

3. 5. 3一种改进的图像二值化方法…………………………………………. 29

3. 5. 4分水岭算法………………………………………………………………. . 30

3. 5. 5基于“浸没” 模型的分水岭算法……………………………………. . 3 1

3. 6一种基于距离变换的分水岭算法……………………………………. 33

3. 6. 1距离变换技术的发展……………………………………………………. . 33

3. 6. 2距离的定义…………………………………………………………………. . 33

3. 6. 3数字化中常用到的距离…………………………………………………. . 34

3. 6. 4计算原理……………………………………………………………………. . 36

3. 7圆拟合技术…………………………………………………………………………39

3. 8本章小结……………………………………………………………………………. . 40

第四章 检测系统总体设计与实现……………………………………………. 41

4. 1系统视觉成像硬件模块……………………………………………………42

4. 1. 1照明方式选择………………………………………………………………. 42

4. 1. 2镜头和摄像机………………………………………………………………. 43

4. 1. 3图像采集卡…………………………………………………………………. . 45

4. 2系统软件实现………………………………………………………………. . 46

4. 2. 1软件流程图……………………………………………………………. 46

4. 2. 2焊点缺陷特征分析…………………………………………………………46

4. 2. 3焊点缺陷的分类……………………………………………………. . 47

4. 3实验结果及分析……………………………………………………………………50

4. 4本章小结……………………………………………………………………………. . 53

总结与展望…………………………………………………………………………………. . 54

总结…………………………………………………………………………………………. 54

展望…………………………………………………………………………………………. 54

参考文献………………………………………………………………………………………55

攻读学位期间发表的论文………………………………………………………………. . 57

学位论文独创性声明………………………………………………………………………59

致谢……………………………………………………………………………………………. 6l



第一章绪论


1.1选题背景及意义


本课题来源于广州超音速自动化科技有限公司, 项目 名称为基于机器视觉

的焊点缺陷检测算法研究。 当前, 在电子元器件的大量生产过程中, 对电子元

器件的需求越来越大, 同时对产品的生产效率要求也越来越高【l】 。

焊点的质量直接影响到电子产品的质量的好坏。 几乎所有的电子产品的组

装都会用到焊点, 如手机电池极耳焊点的检测以及手机外壳组装等。 在焊点组

装中, 如何及时有效地检测焊点质量, 并保证产品的组装质量和高可靠性, 越

来越成为关注的问题。

随着现代工业的发展, 效率低下的原始肉眼检测方法, 远远不能够满足工业

生产的要求。 数字图像处理、 机器视觉产品的出现以及模式识别和人工智能等

学科的发展, 将人类从原始的体力劳动中解放出来。 采用基于机器视觉的自动

化或者半自动化生产, 不仅可以提高产品的质量, 降低生产成本, 同时也能够

大大提高生产效率。 因此, 在现代自动化生产过程中, 机器视觉广泛地应用到

工业领域, 能够为产品提供严格的质量控制和可靠稳定运行系统。 本文研究的

焊点缺陷检测算法研究能够对于工业领域的焊点自动化检测提供有力的参考。


1. 2焊点缺陷检测方法概述

焊点缺陷检测目 前已经有多种方法, 包括电气检测方法和视觉检测方法等。

当前常用的检测方法有如下五种:


1. 人工测试

工作人员通过使用诸如放大镜或者校准的显微镜等检测设备来判断焊点是

否合格, 以便进行缺陷识别和决策, 这是最原始和传统的检测方法。 该方法的

优点是预先成本低, 不需要额外检测设备的投入。 但是, 该方法缺点也较为明

显, 诸如人工时间成本高、 缺陷发觉效率低、 数据处理困难、 视觉局限性以及

人的主观性。 另外, 随着现在的电子元器件的精细化、 电子元器件产量的增加、

导线间距与元件体积的缩小, 检测操作对人的要求越来越高, 手动视觉检测已

经变得越来越不可行。


2. X光检查

X光检查是利用X光的吸收率不同, 透视需要检测部位, 从而发现缺陷。

可以发现电路板装配过程中的桥接、 丢片、 校准不良等缺陷。 现在有两种主要

的自动X光检查方法: (1)两维, 看完整的板; (2)三维, 可以实现从不同的

角度拍摄, 如仰视、 侧视、 俯视等。 X光检查的主要优点是有利于嵌入式元件

检查、 无夹具成本。 X光检查的缺点主要有: 失效率高、 成本大、 周期长、 难

以返修等。


3. 在线检测

通过对电气性能的检测, 找到缺陷, 实现测试模拟, 实现产品的合格检测。

目 前的在线测试工具有飞针测试仪和针床式检测仪等。 在线检测, 对编程要求

高、 成本低、 有较大的缺陷覆盖率, 同时能够进行快速识别。 其主要缺点: 夹

具成本高, 使用难度大, 操作性不灵活等。


4. 激光检测

激光检测是一种非接触式的检测方法。 利用激光扫描电子元器件, 通过手

机的实际测量数据与预设的标准值进行比对, 从而实现有效的检测。 该技术是

焊点测试技术的最新发展, 其有效性已经被广泛证实, 在装配板的测试中使用

居多。 能够实现快速输出, 不要求视觉非遮盖访问; 夹具的使用使得其检测极

为方便; 但是成本高、 维护使用过程不灵活是其主要缺点。


5. AOI检测

自动光学检查【2一](AOI, Automated Optical Inspection),

 是较新的确认制造缺

陷的方法。 自动光线检查是一种非电气的在线技术, 不需要使用夹具。 自动光

学检测有许多优点, 如容易跟踪进行诊断、 容易进行快速程序开发等。 但是它

也有不少缺陷, 如高失效率以及对短路的识别性较差等。 自动光学检测, 利用

图像分析和计算机、 自动化控制、 电气机械等技术, 采用光学原理, 对光学图

像进行分析判别。 自动光学检测在焊点检测前后的使用, 能够大大地提高检测

效率, 避免重复工作的发生。

自动光学检测, 结合基于机器视觉和图像处理的检测技术, 在电子元器件

自动化生产生产线中, 能够很好地实现焊前、 焊后检测。 本文中对于焊点的缺

陷检测, 主要是基于自动光学的检测, 采用机器视觉和图像处理算法, 能够很

好地实现常见的漏焊、 焊点粘连、 虚焊、 过焊等缺陷的检测。


1. 3国内外研究现状


1. 3. 1自动光学检测发展现状

自动光学检测有其它检测方法不可比拟的优势。 传统的人工检测带有太强

的主观性, 效率低下, 检测精度与速度不高。 电气检测为离线检测, 不能实时

地反馈信息。 超声波检测, 利用超声波技术, 通过焊点的频率来分析焊点的质

量好坏。 虽然超声波检测操作方便、 检测速度快, 但是对缺陷的定性和定量判

定困难。 X射线检测利用其可穿透性和衰减性发现焊点的内部缺陷, 其检测速

度相对一般的二维检测较慢, 无法做到对所有的产品进行全部检测。 红外激光

检测使用红外线激光对焊点进行检测, 通过分析焊点的激光辐射曲线实现焊点

的缺陷分析和判别。 基于机器视觉的自动光学检测, 因其较快的检测速度、 较

高的检测效率和其在生产线中实现自动化检测, 显示出其独特的优势。

AOI技术始于上个世纪70年代【6】 。 国外能够生产自动光学检测产品, 技术

比较成熟的厂家有: 美国的安捷伦、 林肯激光、 IBM公司; 日本的OMRON公

司和日立制作所、 SCREEN公司; 以色列的Optrptech公司和Camtek公司。 这

些公司的产品采用图像识别技术, 可以实现对电路板上的缺陷的自动检测和判

别, 具有较高的精度。

国内AOI(自动光学检测)发展较晚, 从20世界90年代才开始。 国内第

一台AOI检测系统在于2004年在广东东莞诞生, 另外, 大陆有些公司, 如深圳

准强科技有限公司、 上海易科讯科技有限公司、 江苏明富自动化科技有限公司、

盟拓光电有限公司等, 也已经开始涉入AOI自动化检测领域。 国内的系统大部

分集成了 国外系统, 而且很多机器视觉算法具有局限性, 还需要不断地改进和

发展。 技术的劣势和价格垄断, 成为国内自动光学检测发展的瓶颈, 因此, 进

行自动光学检测国产化研究显得十分必要。


1. 3. 2焊点缺陷检测算法研究现状

国外有不少学者, 提出了 焊点缺陷检测的方法。 Y. K. Ryu提出一种基于机

器视觉的焊点检测架构, 该架构分为两层, 首先提取出焊点的9个特征, 然后

采用神经网络算法, 对焊点图像进行识别【_71。 N. Mar, P. K. D. V. Y提出一种自动

焊点识别检测系统, 先对图像作Hough变换, 再对焊点图像进行定位, 通过

颜色变换将图像转换为YIQ图像, 然后通过图像分割算法, 将分割图像进行离

散余弦变换得到图像的特征, 最后对缺陷图像进行分类【8】 。 Accianni等提取出

焊点的几何特征和小波特征, 用复杂神经网络对PCB的焊点缺陷进行识别[9-10]。

文献[11]通过树形结构分类器对焊点缺陷进行分类, 用最小分类器根据焊点的五

种特征对焊点把焊点分为2类良好焊点和7类不良焊点。 Y. K. RYU提出一种

OSJIS焊点缺陷处理系统, 通过三层的光谱状态识别焊点缺陷【l 21。 Ong. 等提出

一种基于ANN和学习向量的双视觉成像的图像处理方法来获取焊点结构【l 3I。

国内也有不少学者提出了 焊点检测的算法。 蔡念等提出利用形态因子以及

曲率, 建立焊点特征的神经网络模型, 能够有效的实现焊点质量检测【l 41。 吴福

培通过一种模式匹配、 参数自适应的方法, 实现了 对焊点的良品、 多锡、 少锡、

假焊的判别【15】 。 初少林等引入了 三维焊点的形态特征, 将支持向量机、 AdaBoost、

Boostrap结合后, 能有效地对焊点进行分类【l 61。 吴媛利等用色N/ 亮度/ 饱和度的

RGB图像分析技术, 结合形态学理论, 实现焊点的成功分离【l 7】 。 林俊等提出一

种基于高分辨率焊点图像的缺陷检测算法【l引。 文献[1 9】 利用形态学算法对焊点图

像进行提取, 分析出焊点的缺陷。


1. 4论文内容安排

本文作者在研究生期间研究方向是机器视觉和图像处理。 因此本文的焊点

图像检测工作也是基于以上工作展开的, 本论文的主要工作如下:

第一章, 介绍本课题的研究背景及意义, 阐述焊点缺陷检测技术在国内外

的研究现状。

第二章, 介绍图像处理和机器视觉相关的理论知识。

第三章, 重点介绍焊点图像预处理和图像分割的典型算法, 并且提出一种

快速的图像二值算法; 另外提出一种基于距离变换的分水岭分割算法。

第四章, 实验平台和硬件的介绍, 通过实验仿真和分析验证, 得出实验结

果和结论。


1. 5本章小结

本章主要对焊点检测的背景和意义进行分析, 然后概述了 焊点缺陷检测的

方法和国内外的研究现状, 并且说明了 本课题的主要工作。


第二章图像处理与机器视觉


2. 1引言

数字图像处理, 就是利用数字设备将模拟图像转变成数字图像。 图像处理

技术被广泛应用在机器视觉中。 机器视觉就是用机器代替人眼来做测量和判断。

机器视觉系统将源图像由模拟图像转换成数字图像, 经过图像处理系统, 对图

像进行处理和分析, 通过对这些分析信号进行各种运算, 提取出目 标特征, 进

而实现判断分析。 机器视觉系统因为其自动处理、 实时性强、 高信息获取能力、

高效率等被广泛在工业生产过程中。 在不适合人工作业的环境中, 或者对于精

细化的元件, 在人工视觉无法实现检测的情况下, 采用机器视觉代替人眼进行

检测能够提供很大的便利性, 采用机器视觉进行检测可以大大提高生产效率和

生产的自动化程度。


2. 2图像处理


2. 2. 1数字图像的表示

数字图像是二维信号, 计算机要能够识别图像, 要通过取样和量化等将模

拟图像转换成数字图像。 获取、 采样和量化三个步骤组成了 图像数字化的过程。

一副图像可以定义为一个二维函数f(x, Y), 这里X和Y分别是空间坐标, 而在该

控件坐标上的幅值称为图像上该点的强度或灰度。 当X、 Y和幅值均为有限离散

数值时, 称该图像为数字图像。 可以用传统矩阵表示法来表示数字图像。 图2. 1

为物理图像对应的数字图像, 该图像像素点和灰度值是一一对应的。

image.png


2. 2. 2图像处理与分析系统的组成


物理图像是由一个个的数字化的小区域组成的, 这些小区域叫做像素。 每

个像素是一个正方形的小方块, 像素由位置和色彩、 亮度信息组成。 将像素位

置上的信息进行量化, 得到像素矩阵。 将该矩阵加上相关信息, 以一定的格式

比如二进制格式存储在计算机中, 就成为图像文件。 这些图像文件可以被分析

处理, 同时也可以还原提取出来, 在显示器等显示设备中还原成图像。

在数字图像处理系统中, 计算机至关重要。 计算机几乎完成了 所有的图像分

析和识别工作。 因而, 计算机技术的迅速发展也成就了 数字图像技术的快速进

步。 一个完整的图像处理和分析系统有以下几个部分, 如图2. 2所示:

image.png

一个符合要求的图像处理分析系统应该满足以下几个条件:

首先是系统硬件性能。 系统硬件系统必须能够符合图像采集、 量化等需求。 采集

的图像信息准确、 同时能够对图像实现准确的量化和分析, 避免引入大量的噪声对图

像分析造成干扰和错误引导。

另外, 足够的存储空间以及存储设备高速的I/ O速率, 能够保证图像处理过程中

对图像的完整保存以及高速存储要求。

最后, 对于图像通信来说, 特别是图像远程通信, 一定要保证图像数据量和传输

通道相协调, 以便获得最快的传输速率和最佳的访问体验。


2. 3图像处理的特点以及应用领域


2. 3. 1图像处理的特点

图像处理是一个复杂的过程, 其复杂性主要包括: 频带带宽大, 数据信息

量多以及图像局部区域相关性大等特点。

频带带宽大。 带宽是指在一个固定的单位时间内(如1秒), 能通过的最大位

数据。 就像高速公路的车道一样, 带宽越大, 好比车道越多。 在通信领域, 带

宽是一个很重要的概念。 如电视频道的带宽约为8MHz, 当前主流宽带带宽可以

至16MHz。 越高额带宽对数据的处理能力要求越高。 通过对带宽实现有效压缩,

可以很好地解决数据传输速度和效率的问题, 畅通数字图像处理中的各个环节。

数据信息量大。 图像是一类含有大量信息量的信息体。 我们在处理图像的

时候, 实际上是在处理和分析图像的信息。 一副图像, 其像素越多, 所含有的

信息量也越大。 例如一幅51 5× 5 12的灰度图像, 要求处理约256KB的数据量。

因此, 对于计算机的计算速度、 性能以及存储容量以及算法都提出了 较高的要

求。

相关性大。 一副图像中, 各个像素中间具有一定的相关性。 例如灰度相似、

亮度相似等, 所以在图像处理中, 出现了 很多判定图像区域相似性的算法、 甚

至在有些图像中, 两个图像的相似性可以达到90%以上。


2. 3. 2图像处理的应用领域

图像处理, 涉及到人类生产生活的方方面面。 在工业工程、 机器视觉、 航

空航天、 生物学、 军事、 通信、 文化艺术、 视频多媒体等领域都有广泛的应用。

工业和工程方面。 在现代工业和工程领域中, 图像处理有着广泛的应用。

如对工业产品的装配、 缺陷检测以及零件测量和分类, 瑕疵检查, 产品定位,

识别物体的形状和排列状态等等。 特别是现代智能机器手, 集触觉、 视觉和听

觉为一体的智能机器人, 已经逐渐在工业生产线上得到有效应用, 给工业生产

带来的新的激励。

机器人视觉。 机器的视觉代替人眼视觉, 甚至有着更加精准的特点。 利用

机器视觉, 可以很好的识别图像, 甚至可以对三维景物进行理解和分析。 利用

机器视觉可以实现对电子元器件装配部件的正确率识别、 元器定位、 尺寸测量、

自动化检测等等。

航天和航空技术方面。 数字图像处理在航天航空技术方面的应用中起着重

大作用。 通过数字图像处理技术可以对航空卫星摄取图像进行分析, 以及对遥

感图像进行分析。 如天气预测、 卫星地图和资源调查等。 各国侦察飞机的摄影,

将得到的图片进行数字图像处理和分析, 能够提取出大量人工所不能发现的有

用的情报。 这样既省人力、 物力, 也能够快速准确地得到分析结果。

生物医学工程方面。 近来, 图像处理在生物医学工程方面也有了 广泛的应

用。 心电图识别、 CT照片、 透视技术以及药物检测和识别、 生物特征识别、 显

微图像处理等都是应用了 图像处理技术。 数字图像在生物医学工作中的应用,

在保证准确度的同时也大大地的提高了 工作效率。

军事安全方面。 如最典型的人脸识别系统、 指纹识别系统、 虹膜识别系统、

图片复原以及导弹定位和跟踪、 交通监控、 车牌识别事故调查分析中都有图像

处理技术的贡献。 另外, 在产品防伪、 水印技术方面也有图像处理的背影。

通信工程方面。 将电话、 电视和计算机三网合一是当今通信发展的方向。

结合文字、 图像、 声音、 视频信息的多媒体中, 以图像通信最为复杂, 这是因

为图像具有巨大的数据量, 要想实现高速率的实时传输, 就必须采用压缩技术。


文化艺术方面。 最典型的是动画编辑与制作、 电子图像和游戏制作、 动漫、

服装设计与制作、 照片复制和修复、 运动分析和评分等。 这一系列在文化艺术

方面的图像处理运用, 将数字图像处理技术以一种美的形式运用到其中, 从而

诞生了 计算机美术这一门新的艺术。


2. 4机器视觉

人类感知的外界世界中, 在触觉、 听觉、 视觉中, 视觉感应占75%, 由此

可见视觉信息量巨大, 也表明人类对视觉信息有高效的利用率。 机器视觉, 顾

名思义是指利用计算机来实现人眼的视觉功能, 也就是用计算机来实现对客观

三维世界的识别。


2. 4. 1机器视觉系统概述

机器视觉系统通过机器代替人眼来对产品进行判断和分析, 它是一个模拟 !

人眼的系统。 机器视觉系统通常应用在工业领域, 因此, 也被称为工业视觉系

统。 它包含的学科十分广泛, 集电学、 光学、 机械、 计算机、 图像处理、 模式

识别、 人工智能、 数学等多领域学科。 机器视觉系统能够提高生产柔性和自动

化程度, 与人眼视觉检测相比, 它有很多方面的优势。

典型的基于PC的视觉系统一般由如图2. 3所示的几部分组成:

image.png


①相机与镜头——这部分属于成像器件, 机器视觉系统的眼睛就是相机和镜

头。 通常有多个相机镜头组成, 实现不同角度的拍摄。 根据应用的需要相机可

能是非标准的逐行扫描信号、 线扫描信号、 高分辨率信号等。 从信号通道角度

来说, 可能是是输出标准的单色视频、 复合信号或者RGB信号。

②光源——光源是成像系统中十分重要的部件, 光源的选取对于成像质量十

分重要。 各种形状的光纤卤素灯、 LED灯、 高频荧光灯都容易得到各种类型的

光源。

③传感器——传感器可以被告知在一定的条件下对图像信息的采集, 用来判

断被检测图像的位置和状态信息。 它通常以光纤开关、 接近开关等形式出现。

④图像采集卡——通常以插入的形式安装在PC中, 图像采集卡的主要工作是把

相机等输入的图像传递给主机。 不同类型的相机对应的图像采集卡可能不一样,

常见的有PCI、 ISAPCI64、 Compact PCI, PCI04等。

⑤PC平台——PC平台是视觉处理很重要的一部分。 它是PC式视觉系统的

核心。 图像处理的大部分操作, 如数据处理分析以及控制逻辑都是在这里完成

的, 因此对于CPU提出了 高频率的要求。 同时, 考虑到工业现场复杂环境, 需

要工业电脑。

⑥图像处理软件——图像软件参与图像的分析和处理, 如图像的定位、 图像

的信息特征提取等。 视觉处理软件能够实现数据的分析处理, 得到图像的特征

信息, 如图像的灰度信息、 图像的坐标位置等等。 常见的机器视觉软件有C/ C++

图像库, ActiveX控件, Matlab以及Halcon。 这些软件中有的软件有算法处理库,

能够实现一些基本功能的检测, 如阈值处理、 边缘检测、 图像分割、 兴趣区域

提取等等。

⑦控制单元。 控制单元为图像处理分析系统提供动力支持。 电气控制、 机

械控制、 输入输出控制都属于控制单元的内容。 在图像处理和分析系统的前后

整个过程中, 需要通过输入输出控制单元对信号进行输入输出空中, 电气和机

械的结合为图像处理系统提供一个运行和操纵的平台。

上述的7个功能部件组成了 一个基于PC式的视觉系统, 并在实际的应用中,

针对不同情况进行调整。


2. 4. 2机器视觉应用和发展

机器视觉是最近发展起来的一个新的领域, 涉及到计算机、 图形图像处理、

人工智能、 模式识别、 光学电学等领域。 机器视觉在工业化生产线的应用越来

越广泛, 大大解放了 传统的生产力。

机器视觉系统在市场上的应用, 大体分为以下几类: 第一类是应用于定位。

通过机器视觉系统, 自动判别出图像感兴趣区域, 并通过一定的传输通信协议

告知系统, 通过抓手工具或者机器手等工具来校正位置, 实现准确定位。 此类

机器视觉系统往往结合机器手等装置, 用于全自动或者半自动的装配生产线上,

如自动组装、 自动焊接、 自动包装等。 第二类应用是缺陷检测, 如焊点的缺陷

检测, 装配元器件缺陷检测以及破损检测、 颗粒状检测、 药丸缺陷检测、 瓶盖

缺陷检测等等。 第三类是尺寸测量, 如元器件厚度的测量、 长宽度的测量、 面

积的测量等等。

机器视觉被广泛应用和逐渐发展, 其表现的高效性也越来越明显。 从中国

制造到中国创造的转型过程中, 机器视觉在中国的生产制造领域越来越得到大

家的推崇。 总的来说, 其发展趋势有如下几个方面: 首先, 易学和易用性趋势。

改善化的机器视觉系统操作, 简易化的用户接口, 使得机器视觉系统能被大家

更加方便的学习和使用。 其次, 机器视觉系统能够更强大地克服复杂环境变化,

提高智能化程度。

2. 5本章小结

本章主要分析了 图像处理和机器视觉的四个方面:

1)数字图像的形成模型j以及如何进行量化和数学表示;

2)图像处理和分析系统的组成;

3)机器视觉的概念以及系统组成;

4)机器视觉的应用和发展。



第三章焊点图像处理算法



3. 1引言

一般来说, 焊点图像的颜色明度偏暗, 灰度直方图分布不均匀, 背景和前

景图像之间灰度相差不大, 图像的对比度动态范围较小, 给阈值分割中的阈值

选取带来不小的麻烦。 焊接板的材质的透明性, 也会对检测图像造成一定程度

的干扰。 同时在图像输入和输出的过程中, 噪声也是一个不可回避的问题。 另

外, 对于一些近距离的焊点, 怎样识别出粘连焊点也是一个待研究的问题。 质

量不好的图像对于我们后续处理和分析的工作影响深远。 具体来说, 对于图像

的噪声影响有以下几个因素:

1、 硬件设备的影响。 如CCD摄像头自身会读出噪声。 采集设备本身质量

的好坏以及工作温度最直接的反应在我们需要处理的输出图像上。

2、 自然环境的影响。 光照强度和生产环境等也会对图像的质量造成影响。

强烈的光照会造成图像的过度曝光, 光源不足会造成图像对比度和清晰度

不够。 另外, 生产环境也对图像质量有影响, 如果生产环境不够洁净, 容

易对视线和镜头造成污染。

3、 机械转动系统的影响。 如在自动化生产线上, 传送带的轻微抖动造成图

像模糊, 另外, 也有传送带速度快慢对于摄取图像的效果差异的影响。

4、 焊接板自身材质的影响。 焊接板有多种材质。 例如反光材质妨碍图像对

象的提取, 再如污点也会影响我们对焊点的识别。

5、 相邻焊点的区分。 物理距离非常近, 灰度值相似的焊点, 也会给我们的

识别加大难题。

对焊点图像的处理, 需要我们综合运用图像预处理、 图像分割、 图像特征

提取等图像处理技术, 针对性地运用多种算法, 提取出相对准确并为我们所需

要的图像, 给我们最终的分析和判断提供强有力的保证。


图像预处理作为图像处理中的初始步骤, 其质量的好坏直接影响到图像的

最终处理效果。 通过图像预处理, 消除图像中的噪声等干扰和无关信息, 加强

图像有用信息, 可以大大的提高图像的可检测性和滤除无关数据, 从而高效地

提取出需要的特征。

图像预处理的方法比较多, 根据侧重点的不同, 大体分为图像去噪、 图像

增强两个方面。

经过图像预处理, 采用边缘检测、 图像分割的方法, 提取出我们需要的前

景图像, 才能够更好地进行后续的特征提取和图像分析。


3. 2图像去噪

图像去噪, 也叫图像平滑、 图像滤波。 图像中的椒盐噪声、 白噪声等, 以

及镜头污染、 环境影响和图像在传输过程中都会出现一些不可控的噪声。 只有

较好地去除了 噪声, 才能减少噪声在图像后续处理中的干扰。 图像滤波的目 的

有以下两个方面: 第一, 消除图像在数字化时混入的噪声。 第二, 为后续的图

像特征提取做准备。 滤波的效果应该保持不破坏图像的重要信息, 同时能够保

持图像清晰, 利于图像的识别和检测。

比较常见的图像去除噪声方法有以下几个:

(1)均值滤波法

(2)中值滤波法

(3)小波滤波法

(4)形态学滤波法等

下面对它们分别进行具体介绍说明:


3. 2. 1均值滤波法

均值滤波法是一种领域平均法。 该方法用中心像素的领域内的所有像素的

平均值来代替中心像素的值, 减小突出像素点的影响, 实现像素平滑, 达到图

像去除噪声的目 的。 用一个窗VI(通常是3 x3、 5x5等奇数窗E1)沿着图像逐行

或者逐列移动, 用像素的领域平均值代替中心像素的值, 进而求出全部像素的

灰度平均值。 其公式如3. 1所示:

image.png

其中f(x, Y)为原图像, 其为一个N×N的阵列, v(x, Y)为均值滤波后的图

像。 公式中U是邻域滤波器上的掩模, M是掩模所包含像素的总个数。

均值滤波会对图像产生一定程度的模糊效果, 模糊效应程度主要取决于掩

膜的大小。 5× 5比3 X 3的掩模在实际应用中产生的模糊效应更大。 通常情况下,

掩模越小就越清晰, 反之就越模糊。 当然, 掩模也不是越小越好, 过小的掩模

会使图像的计算量变得十分巨大, 因此, 需要选择合适的掩模来平衡图像去除

噪声效果和计算复杂度的关系。

3. 2. 2中值滤波法

中值滤波法是一种领域平均法。 该方法用中心像素的领域内的所有像素的

中间值来代替中心像素的值。 该方法最先于1 971年由J. WTukey首先提出, 最

开始主要用在一维信号处理中, 后来逐渐被引入到二维信号处理中。 中值滤波

在实际运用中, 不需要图像的统计特征, 而是简单的用领域像素的中值来代替

中心点的像素值, 从而消除孤立的点, 其实现简单方便, 运算速度快, 对于滤

除脉冲干扰十分有效。 不过中值滤波对于处理多细节的图片, 如多点、 多线图

像, 效果不太理想。

一组数image.png , 把它们从小到大的顺序排列:

image.png

设Y为序列image.png的中值。 定义窗El为一个中心点的特定形

状或长度的邻域。 中值滤波往往通过滑动窗口, 处理图像中的所有的像素点,

从而得到滤波后的图像。 在窗口滑动过程中, 每个像素点的值用窗IS]内的像素


点的中值来代替。 对于一维图像, 采用奇数一维窗口, 对于二维图像, 采用二

维奇数窗口。 常见的窗口形状可以根据实际需求进行选区, 如矩形、 圆形、 十

字形和线性等。 在本试验中, 我们取像素的八邻域的中值作为中心像素的值。

中值滤波中各点的灰度值与中值的关系为:

image.png

中值滤波能够有效抑制噪声, 很好地保留图像中的跃变部分。 在很多的算

法中, 中值滤波都得到应用。 中值滤波能够很好的对图像的边缘信息进行提取,

大大地提高图像质量。 不同于均值滤波, 中值滤波效果与输入噪声的分布有关。

中值滤波比均值滤波抑制随机噪声的能力差些。 但是, 均值滤波比中值滤波在

脉冲噪声的处理效果上要好些。


3. 2. 3小波去噪

小波去噪法, 通过对噪声图像进行小波多尺度分解, 采用尺度系数去除噪

声方法, 最后通过小波逆变换实现信号重构, 从而去除噪声。 该算法以多分辨

率为基础, 通过得到不同的小波系数, 去除噪声所对应的小波系数, 恢复出纯

净的原始图像信号, 从而达到去除噪声的目 的。

小波去噪的基本原理如下图3. 1所示:

image.png

小波滤波原理如下:

信号x(f)的连续小波变换定义为

image.png

小波去噪的方法有小波阈值法、 小波系数相关性法、 小波变换模极大值法。

对于小波阈值去噪, 采用阈值法, 对小波系数进行处理, 通过取阈值, 低

于阈值的小波系数, 将其设置为0。 因为小波系数的相关性, 将大量数字比较偏

小的小波噪声系数滤除, 余下代表图像重要信息的特征系数, 如图像的边缘和

轮廓等信息, 达到去除噪声的目 的。 小波阈值去噪的具体步骤如下:

(1)设输入信号x(f), 输入信号由原始信号s(, )和噪声刀(f)两部分组成, 在

各个尺度对输入信号x(f)进行小波信号分解, 得到小波系数以, %, %。

(2)将大尺度低分辨率下的全部小波系数保留; 设定一个阈值函数, 对各

个尺度高分辨下面的小波系数进行处理。 高于该阈值的小波系数, 可以进行完

整保留也可以对其做合适的压缩处理, 在阈值之下的小波系数全部设置为0, 得

到估值小波系数image.png

(3)最后将对小波系数逆变换, 恢复重构出有效信号。

阈值去噪的关键是阈值的选取。 原则上, 在统计原理中, 对小波系数进行

统计, 选取合适的阈值。 阈值不能过大, 也不能过小。 过大阈值, 会去除有效

的成分, 造成大量不必要的失真; 过小阈值, 不能达到去噪的效果。


3. 2. 4形态学滤波法

形态学滤波器是一种非线性的滤波器。 结构元素是形态学中一个重要的概

念, 不同的结构元素, 构成不同的滤波器。 通过不同结构元素的形态学滤波器,

可以消除或者抑制不同噪声。 形态学中的开运算和闭运算, 是形态学滤波的基

本方法。 通过开闭元素的结合操作, 可以有效的对图像进行去噪、 填充。


3. 3去噪比较

image.png

image.png

以上是上面几种滤波方法的去噪效果对比图, 在加入高斯噪声后, 分别采

用均值滤波、 中值滤波、 小波去噪和形态学去噪方法, 可以看到, 中值滤波的

效果明显好于其它几种方法, 它能够很好地消除孤立点。


3. 4图像增强

图像增强的目 的是去除图像中的无用信息, 保留图像中的有用信息。 图像

增强能加强信息辨别力, 得到符合需求的视觉信息, 因此, 为了 改善图像的质

量, 往往采用图像增强的相关处理方法。 采用图像增强的目 的也是为了 将得到

的处理图像更好地应用于人的视觉特性或者机器视觉识别系统中。

总体上来说, 图像增强分为频域法和空域法两大类。 典型的频域法如傅里

叶变换, 傅里叶变换是某些三角函数的线性组合, 该变换计算过程复杂, 计算

量大, 缺乏快速性和灵活性。 空域法则以灰度变换为基础, 对图像的灰度信息

进行处理, 其实现简单、 快速、 高效。


3. 4. 1灰度变换

灰度变换通过变换像素来实现灰度修正。 灰度变换分为线性变换、 非线性

变换和分段线性变换, 如图3. 3。 对于灰度范围比较窄的图像, 采用线性变换具

有很好的改善效果。 但是在某些情况下, 非线性变换的效果比线性变换的效果

更好, 但是非线性变换也较难控制。 如果需要明确区别出前景和背景图像, 分

段性变换是很好的选择。 在PS等图像处理软件中, 我们也可以看到调整选项中

的灰度变换。 根据我们的经验, 对目 标进行拉伸或者压缩, 通过调节前景和背

景的灰度, 提高前景和背景的对比度。

image.png

3. 4. 2直方图均衡化

图像的直方图是图像的重要统计特征, 可以看作是图像灰度的密度函数。

对图像中的像素灰度个数多的级别进行扩展, 同时对灰度个数少的级别进行缩

减, 使得输出的直方图总体分布均衡。 可以通过直方图变换来实现灰度映射变

换, 达到增强图像的目 的。

设函数H一(r)的值为某一灰度级像素点的总数, r表示像素一共有多少级别,

一般取0到255共256个级别。 函数乩(, )的值为某一灰度级像素点的总数。

将直方图均衡化算法如下:

直方图均衡化, 通过一个变换函数将原来图像像素级别转换为新的像素级

别。 设变换S=T(r)为该变换函数。

image.png

N为总像素点的个数, ni为第i灰度级像素点的个数。

我们找到s=T(r)的对应关系, 就可以将就像素点的像素级r变换到新的像

素点的像素级S, 如图3. 4:

image.png


3. 5图像分割

图像分割指的是将数字图像细分为多个图像子区域的过程。 根据图像的特

征, 比如图像的灰度、 纹理、 形状等, 将图像分割成一块块的互补重叠的区域。

这些分割后得到的特征区域具有明显的差异性, 同区域的特征具有某些相似性。

分割的最终目 的是提取出我们关注的感兴趣区域。 图像分割可以分成3大类:

边缘检测法、 阈值分割法和区域分割法。

边缘检测法中导数算子是最基本的方法, 采用确定区域边界的方法来实现

分割。 边缘检测法通过对边缘像素的检测和连接实现分割。 将导数算子与滤波

器结合可减少噪声干扰, 例如sobel算子检测等。

阈值分割法是一种并行分割法。 例如通过对灰度图像取阈值的Otsu法, 就

是典型的阈值分割算法。

区域分割法是将图像中的像素划分到相应的区域的聚类方法, 例如区域生

长法。 通过相似性准则对区域进行划分和像素的归类, 区域划分通常采用阈值

化方法进行图像分割。


3. 5. 1边缘分割

物体的边缘是灰度不连续性所反映的, 是图像的重要信息。 人们往往通过

边缘的提取实现对目标图像的检测, 从而实现图像分割。 与人的视觉机理相似,

人对场景中变化较快或者亮度较高部分比较敏感。 人类在观察物体时, 首先引

起注意的是物体的边缘轮廓, 边缘提取就是提取出比较明显的区域边界。 图像

的边缘是进行特征提取经常考虑的因素之一, 对于特征提取十分重要, 也用在

不少的特征提取和图像识别中。 边缘提取通常大多数使用基于方向导数掩模求

卷积的方法。 常用的算子有Sobel, Laplace, Roberts和Prewitt等。


Sobel算子

索贝尔算子(Sobeloperator)主要用作边缘检测, 它用来计算图像的灰度近

似值。 在图像上依次使用该算子, 转换成对应的灰度, 最终形成灰度矢量。 Sobel

卷积因子如图3. 5:

image.png

image.png

具体过程如下:

做完卷积后, 图像的具体像素点的灰度大小由该点的横向和纵向灰度值的平方

和与开方得到, 如3. 8式:


image.png

通常, 为了 提高计算效率用下式3. 9代替上式:

image.png

接下来得到梯度方向如3. 1 0式:

image.png

若图像为3. 6所示:

image.png

则使用替换公式后, 结果为:

image.png

Sobel算子简单快速, 因此被广泛使用。 但是, Sobel算子对于图像前景和

背景提取不严格, 有时效果不佳。


Roberts算子

Roberts算子, 通过对角线上像素差值实现检测。 其实现也十分简单, 对于

检测垂直边缘, 效果较好, 另一个优点就是定位准确。 但是其主要缺点就是对

噪声敏感, 易受噪声影响。

Roberts卷积因子为图3. 7:

image.png

Prewitt算子

Prewitt利用像素点上、 下、 左、 右四个方向的相邻点与当前点的差异, 利

用两个方向模板与图像进行领域卷积运算。 该算子可以去掉部分伪边缘, 对图

像起平滑作用。 该算子在卷积过程中, 水平边缘检测和垂直边缘检测同时进行。

Prewitt边缘检测算子模板如图3. 8所示:

image.png


image.png


Laplace算子

图3. 8 Prewitt卷积因子

Fig 3—8 Prewitt convolution factor

Laplace(¥立普拉斯)算子是一种二阶微分算子。 Laplace(拉普拉斯)算子最大的

特点是旋转不变。 对于二维图像, 该函数拉普拉斯变换是二阶导数, 而且是各

向同性的, 定义为:

image.png

将3. 12式子表示为离散形式为:

image.png

Laplace(拉普拉斯)算子对于跃变敏感。 如果在较亮区域出现一个较暗的点,

该算子会使该点更暗。 所以对于陡峭变化的边缘, 该算子能够起到锐化的作用,

所以Laplace(拉普拉斯)算子特别适用于图像中的孤立点和线。 Laplace算子两种

模板如图3. 9:

image.png

总之, Laplace算子的定位检测度高, 可以检测大部分的边缘, 而且很少出

现伪边缘, 但是其对噪声敏感而且容易导致边缘丢失和不连续。


3. 5. 2阈值分割


1. 直方图阈值分割

直方图阈值分割是基于灰度直方图的阈值分割方法。 该方法能够有效的分

割出前景和背景对比明显的图像。 该方法假设图像是由单峰灰度的前景和背景

组成, 在同一个区域的像素灰度值是高度相关的, 但是不同区域的像素灰度值

相差很大, 从而确定阈值, 实现分割。 直方图阈值分割对于图像和背景区域的

灰度均值相差较远。 均方差较小的情况, 能够得到较好的效果。

阈值可以是单阈值, 也可以是多阈值。 阈值可以把不同的区域分割开来。

单阈值和多阈值之间可以根据实际情况进行转换。 一幅原始图像f(x, Y)取单阈值

T分割后的图像可定义为:


image.png

得到一幅二值图像的g(x, 川。

阈值分割算法主要有两个步骤:

(1)首先根据直方图和一些元素确定最佳阈值;

(2)将像素与标准阈值进行比较, 分割图像。

可以看到, 确定阈值是决定分割效果的关键。 一个准确的阈值, 可以将图

像很好地分割开来。 通过阂值与各个像素点的灰度值进行比较, 可以得到图像

的分割区域。

大津法阈值分割

图像处理中, 阈值的自动选取一直是图像研究的重点和热点。 大津法是一

种应用广泛的图像分割方法。 该方法基于概率论的知识, 通过计算最大的类间

方差得到最合适的阈值。 该方法计算简单, 能够用于实时处理, 能够实现阈值

选取自动化。 大津法最初由日本的学者Otsu提出, 所以简称Otsu[2 01。 大津法通

过前景和背景灰度值的最大方差值来确定分割阈值。 大津法基本原理为: 假设

原始图像f(x, Y)为大小MxN的图像, 该图像的灰度级别为L, 记为

image.png

image.png

通过Ostu算法, 得到最佳阈值是在前景与背景的临界处。 采用最大类间方

差, 方差越大, 图像的前景和背景相差越大, 图像的分割的效果就越好。 反之,

如果前景和背景被错误划分, 则方差变小, 所以该方法是一种能够很好的得到

阈值的方法。


3. 5. 3一种改进的图像二值化方法

将焊点图像分割出前景和背景有很多种方法, 为了 得到较准确的阈值, 这

里提出一种基于灰度直方图的自适应阈值方法。 焊点图像包括前景和背景两个

区域, 这两个区域分别有两个不同的平均值和方差的高斯分布。 通过这两个平

均值和方差的高斯分别, 得到一个正确的阈值来分割前景和背景。 过程如下:


image.png

步骤2)和步骤3)重复进行, 直到阈值不再变化。 得到的二值化图像, 对其前

景部分的面积进行面积计算, 如图3. 10:

image.png

3. 5. 4分水岭算法

分水岭算法(Watershed Segmentation)[21-231是近年发展起来的一种基于数

学形态学的图像分割方法, 该算法是基于区域的分割算法, 主要可以应用于图

像分割, 梯度图像的提取等。 20世纪70年代, 分水岭算法被S. Beucher和

Lantuejoul首次提出, 当时该算法具有高复杂度。 20世纪90年代, 模拟沉浸分

水岭算法, 由L. Vincent和P. Soille提出后, 分水岭算法的效率得到大大提高。

分水岭算法的基本思想: 分水岭变换概念源于地理学, 分水岭在地形学中

被认为是雨水冲刷出来的地形。 雨滴不断落下, 将哪些积水的区域分开的线就

是分水岭。 将该地形学的思想运用到图像处理。 对于该算法, 关注以下三点:

①局部的极小值;

当一滴水落入在某一位置, 水会继续落到某一个极小值点;

③ 当水最初落在某一位置时, 会以相等概率落入可能的极小值点。

满足条件②的点称为“集水盆地” , 满足条件③的点组成地形表面的峰线, 称为

“分水岭” 。


3. 5. 5基于“浸没” 模型的分水岭算法

L. Vincent和P. Soille“模拟沉浸” 分水岭算法是基于数学形态学的。 该算

法在结果精确性和高效性中都得到了 发展, 能够快速准确地得到分割结果。

L. Vincent和P. Soille模拟沉浸分水岭算法包括以下内容:

1. 排序。 首先, 扫描整幅图像, 得到灰度的概率分布密度。 通过像素的灰度值和

概率分布密度, 确定像素点的排序位置, 将排序位置由低到高放入一个数组中。

2. 浸没。 对于像素点, 按照像素点的灰度值高低顺序进行处理, 将相同的灰度值

的像素点集合作为同一灰度层级。 一次扫描像素点, 检验当前像素点是否被标

记, 如果被标记了 , 划入相应区域, 否则, 生成一个新的极小值区域, 将当前

像素点标记的值增l, 一直到所有像素处理完成为止。

该算法具体描述如下: 假设当前已经浸没到了 灰度层级为h的位置, 即在灰

度小于等于h的所有像素已经被浸没, 当前的每个集水盆已经被标记了 唯一值。

接下来, 访问灰度层级为h+l部分, 并且给其设定一个特殊的标记Mask。 如果

像素已经被标记, 则保存到队列中。 接下来, 将队列像素进行读取, 将其相邻

且有Mask的像素也标记成与当前像素同一标记。 反复这样, 实现了 浸没和积水

盆的扩展。 被标记为Mask的像素为新集水盆地的最小值像素点, 新积水盆的

像素和已标集水盆不连通。 在整个过程中, 各个像素被扫描的次数为三次:

1)在每个灰度层级h上, 每个连通的像素的值分别被分配一个初始标记;

2)在每个灰度层级h上进行扫描和浸没;

3)所有灰度层级为h像素都被扫描, 判断新集水盆是否出现。

基于上述算法, 操作当中每一个像素点都会平均扫描5遍, 其中排序过程就

会扫描2遍, 浸没过程再扫描3遍。 可以看成整个执行过程的时间为线性, 对

每一个集水盆做标记可以大大提高算法的精确性, 使分水岭的算法从理论成功

过渡到实验。 整个过程如图3. 11:

image.png

image.png

3. 6一种基于距离变换的分水岭算法

针对焊点图像的形态特点, 对焊点图像进行距离变换, 经距离变换后, 再

进行分水岭变换, 粘连的图像均得到了 很好的分割, 总体得到了 较好的效果。


3. 6. 1距离变换技术的发展

距离变换被广泛应用到图像形态处理和模式识别领域。 其主要思想是通过

标识空间点(目 标点与背景点)距离的过程, 最终将二值图像转换为灰度图像。 通

过距离变换, 一幅二值图像就可以转换成相应的灰度图。

距离变换首先是由Rosenefdl和Pafltz在1966年引入的【241。 Borgefors通过

更接近真实距离的斜面模板对图形做两次光栅扫描【251, 该算法改进了 Rosenfeld

的算法, 但仍有一定的误差。 Danielsson提出VDT的概念, 即矢量距离变换

(Vector Distance Transform)【2 61, 该算法提高了 精度, 降低了 复杂度。 Svensson

和Borgefors设计了 一种5× 5× 5的三维模板, 对图形做前向和后向两次光栅扫

描, 该方法保持了 模板法的高效性, 但是误差的问题仍然较突出[271。

3. 6. 2距离的定义

距离是距离变换中的一个重要概念, 不同的距离定义不同的距离变换。 距

离是图像中像素之间重要的几何特征。

对于像素点A(x, y), B(x, y), z(x, y), D(A, B)表示A, B间的距离, D(p, q)表

示P、 q之间的距离, 则:

image.png

3. 6. 3数字化中常用到的距离

一般地说, 任意两像素点间的距离可以有多种规定方式。 假设A和B是图像中的

两个像素点, 它们的坐标分别为(五, 乃), (%, Y: ), 则它们的距离可以有以下几种表达

方式:

1、 欧式距离

欧氏距离, 来源于欧氏空间中的两点间的距离。 二维平面上两点A与B间的欧

氏距离为:

image.png

2、 城区距离

街区距离又称为绝对值距离。 一般情况下, 我们用D4表示城区距离, A、 B的

城区距离如下:


image.png

根据城区距离的概念, D4距离为以(xl, Y1)作为中心的一个菱形。

3、 棋盘距离

棋盘距离定义如下:

image.png

根据棋盘距离的概念, D8距离为以(xl, Y1)作为中心的一个正方形。

4、 闵可夫斯基距离

闵可夫斯基距离定义为:

image.png

距离最常用的P是2和1,

前者是欧几里得距离, 后者是曼哈顿距离。 所以它

是前三种距离的特例。


5、 加权绝对值距离

定义A、 B的加权平均值距离为:

image.png

图3. 12列举了 几种距离变换的效果:

image.png

image.png

3. 6. 4计算原理

距离变换的主要过程如下:

1. 将图像中的目 标像素点分类, 分为内部点, 外部点和孤立点。

以中心像素的四邻域为例, 对于内部点, 我们定于该点的四邻域值都为1。

如果该中心像素为目 标像素, 四邻域为背景像素(值为0), 则该中心点为孤立点,

如下图3. 1 3所示。 除了 内部点和孤立点之外的目 标区域点为边界点。

image.png

2. 计算图像中所有的内部点和非内部点, 点集分别为S 1, S2。

3. 对于S1中的每一个内部点(x, y), 使用距离公式disfO计算其在S2中的最

小距离, 这些最小距离构成集合S3。

4. 计算S3中的最大最小值Max, Min。

5. 对于每一个内部点, 转换后的灰度值G计算如下公式3. 30所示:

G(x, y)=255水S3(x, y)-MinI/ lMax-Minl

(3. 30)

其中, S3(x, y)表示S1中的点(x, y)在S2中的最短距离。

6. 对于孤立点保持不变。

以上的距离是以欧式距离为例, 不同情况, 可以用不同距离计算。

文献[28】 提出一种改进的算法, 如下:

1. 按照从上到下, 从左到右的顺序, 使用模板如图3. 14, 依次循环遍历图像I, 此过程称为前向循环。

image.png

image.png

2. 按照从下到上, 从右到左的顺序, 使用模板依次循环遍历图像I’ , 此过

程称为后向循环。

对于P对应的像素(x, y), 我们计算五个距离: d0, d5, d6, d7, d8:

image.png

以上过程即快速欧式距离变换算法。 如果需要其他距离变换方法, 可以分别修改

相应距离算法。

对于本文, 我们使用速度更快的倒角距离变换算法, 来近似欧式距离变换的效果。

过程如下:

1. 使用3. 15中的前向模板, 对图像依次按序扫描, 中心像素点如为1, 则执行下

面操作: 算出模板中各个元素与对应像素之和, 将它们记为S1, S2, S3, S4, S5, 取和

最小值代替中心像素的值, 否则跳过该像素点, 继续下一像素点。

2. 使用后向模板, 如图3. 15中右边的3×3模板, 对图像从下到上, 从右到左扫描,

方法同上。

3. 一般我们使用的倒角距离变换模板为3x3和5x5, 分别如下图所示

image.png

采用基于距离变换的算法, 能够得到较好的灰度图像, 如下:

image.png

3. 7圆拟合技术


image.png

下图3. 17为二值焊点图像经过距离变换以及分水岭变换和圆拟合的效果。

image.png

3. 8本章小结


本章主要介绍了 焊点图像处理的基本算法:

11图像分割的基本方法: 包含边缘检测、 基于阈值的分割方法的几种常见

方法;

2)基于区域的分割方法: 分水岭算法的介绍;

31基于距离变换的分水岭算法的介绍;

4)圆拟合算法的基本原理介绍。


第四章检测系统总体设计与实现


本文设计的自动检测系统, 将根据焊点的各种缺陷, 采用图像处理、 机器视

觉的方法实现对图像的检测、 分析。 系统环形光源正面照射, CCD相机将获取

的焊点图像信息送入图像获取和控制装置, 由图像获取和控制装置进行图像分

析和处理。 整个系统平台架构如图4. 1所示:

image.png

image.png

4。 1系统视觉成像硬件模块


4. 1. 1照明方式选择

机器视觉系统选择照明方式一般都遵循两方面原则: 首先, 效果需要特征与周围

的环境有明显的区分度, 因此要保证PCB板得到正确地照射; 其次, 保证减小图像因

为反射光产生的噪声。 按摆放位置, 分为前向照明、 背向照明、 垂直照明、 环形照明

等。 前向照明, 指的是照明装置、 摄像机同侧, 摄像机通过反射光获得图像, 优点是

方便组装和调试, 缺点是由于光源不均匀, 容易照成阴影和一些亮光干扰。 背向照明,

指摄像机、 被测物体和光源由上而下摆放, 通过被测目 标透射光成像。 环形照明指光

源以环状的形式照射被测物, 这种照明方式可以有效防止阴影产生。

综上所述, 考虑到PCB材质的阴影和亮点以及通透性, 本系统选择环形光

源。 采用环形光源, 通过低角度地漫反射照明, 能够得到比较均匀的照射。 该

光源如下图4-2所示, 其型号为LDR2. SW2。 该光源优良的散热结构, 能够抑制

LED过度发热后对亮度的衰减, 而且光线集中在中央。

image.png

4. 1. 2镜头和摄像机


图像采集设备, 是将光信号转化成电信号的装置, 能完成这类光电转换功能的有

CMOS(Complementary Metal-Oxide. Semiconductor, 互补金属氧化物半导体)类设备、

CCD(Charge Coupled Device, 电荷耦合器件)类器件和PSD(Position Sensitive Detector,

半导体位置敏感检出器)设备等。 我们设备选择CCD作为图像采集设备。

镜头

在机器视觉中, 镜头的选取十分关键, 所有的图像都是通过镜头来获取。 其中镜

头的参数主要有: 焦距、 工作距离、 视场、 光圈、 景深、 快门等。 如何获取性能优越

的工业镜头, 得到高质量的图像, 对整个项目的效果起着决定性的作用。 相机镜头的

选取要考虑的因素, 如、 焦距、 视场、 焦点和失真等。

镜头分类有多种方式。 从焦距长短, 可以分为短焦、 中焦、 长焦镜头; 根据视场

大小来分: 标准、 广角标准、 远摄镜头。 一般适合工厂自动化的透镜的焦距为

8mm/ 16mm/ 25mm/ 50mm。 选取镜头要考虑的音速有: 1. 使用用途; 2. 视场大小; 3. 工作

距离。

系统中, 采用百万像素工业镜头, 如图4. 3所示。 该镜头有很多优点, 如拍

摄图像具有较好的质量、 成像微畸变、 十分适用于本系统中对图像高质量的要

求以及工业自动化检测的要求。

image.png

摄像机


CCD的简称为电荷耦合器件(Charge Coupled Device)。 它可以实现光线向电荷的转

化, 并将电荷转移和存储以及实现电压变化。 该摄像机轻便、 体积小、 防震动、 抗撞

按照感光单元的排列方式, 可以将CCD分为线阵CCD和面阵CCD两类。

线阵CCD使用线阵的CCD探测器, 每次捕捉一细长条的光影, 所以采用扫描

的方式完成成像, 每次探测到的结果衔接起来就可以得到完整的图像。 所以要

求扫描过程中, 相对运用的速度的均匀性以及光源强度的稳定性。 然而, 面阵

CCD摄像机是基于二维的CCD芯片, 可实现一次成像。

选区CCD摄像机, 应主要考虑以下几个方面:

(1)从颜色模式上来说, 是选择灰度摄像机还是选择彩色摄像机。 灰度相机

采集得到灰度图像、 丢失了 图像的彩色信息、 获取的像素信息量少、 信息传输

速度快。 反之彩色图像有三个通道, 其得到的图像信息量是灰度图像的三倍,

但是处理信息速度慢。

(2)分辨率。 总的来说, 分辨率越高, 图像的测量精度越精确, 但是相应的

价位也会越高。 所以, 在选区分辨率的时候, 要综合考虑, 折中选取。

(3)电噪声。 电噪声越小, 采集的图像质量越好, 后续的处理程序越简单,

反之, 则图像质量越差, 处理程序越复杂。

在本系统中, 选用美国Cognac Insight Micro. 1403型的智能相机, 如图4. 4所

示。 该款相体积小(体积仅30mmx 30mmx60mm)、 高分辨率(1600× 1200)、 简

易使用等特点, 能够高速地获取高质量图像, 能够满足工业生产线的实时性要

求。


image.png

4. 1. 3图像采集卡


图像采集卡(Frame Grabber), 用于捕捉图像信息, 并且将信息存储到硬件设备。

图像采集卡是CCD与计算机的接口。 它的主要功能是处理来自不同图像源的信息, 并

且可以适应不同场合的应用, 能够快速高效地处理图像的存储信息。 图像采集卡采用

模块结构, 根据实际需求不同, 模块的配置也不同。 通常, 它包含以下几个通用模块:

输入单元、 帧缓存、 数字信号处理和输出单元。

对于输入单元, 可以输入各种形式的视频信号, 通过信号是从摄像机输出的各种

制式的视频信号, 输入信号经过处理模块后, 转换成模拟信号。 模拟信号通过模/ 数转

换, 得到数字图像, 存储在存储器内。 信号分成实时显示信息和图像存储信息两路。

前者用于实时显示视频图像信息, 另外一路用于将图像存储在计算机的内存上或者其

它存储器上。 计算机CPU通过控制计算机总线和采集卡的图像采集控制模块来实现具

体的信息传递。

图像采集卡的选择, 主要考虑以下问题:

(1)匹配性。 采集卡要与摄像机或者相机匹配, 输出信号标准要一致;

(2)采集卡转换速度;

(3)图像采集卡的分辨率;

(4)是否有像素抖动;

在本系统中, 为了 配合数字图像采集的相机类型, 也为了 满足功能需求以及得到

高质量的采集图像, 选用Levin. VGA205高精度图像采集卡。


4. 2系统软件实现


4. 2. 1系统工作流程图

本系统的输入为图像采集设备获取的焊点图像, 输出为焊点的缺陷判别信

息。 整个处理过程包括图像采集、 图像定位、 图像预处理、 图像分割、 特征提

取和分类。 首先对采集到的焊点图像作预处理, 然后对焊点图形进行二值化,

接下来对焊点图像进行基于距离变换的分水岭分割处理, 采用圆拟合算法, 提

取出图像的特征向量, 实现对焊点图像缺陷的判别。 整个图像处理过程如图4. 5

所示:

image.png


4. 2. 2焊点缺陷特征分析


对于提取出来的图像, 选区准确的图像特征进行分析, 对后续的图像的缺

陷识别意义重大。 在本课题中, 我们提取出焊点图像的如下特征作为检测依据:

1)外接矩形面积

外接矩形即能够包含焊点区域的最小的矩形。 焊点图像位置被标定后, 确定

中心点, 则距该点最近和最远的背景像素点的水平和垂直距离作为外接矩形的

长轴和短轴, 以此作外接矩形, 求出外接矩形的面积。

2)内圆面积

取以外接矩形的短轴作为半径, 进而得到内圆面积。

3)焊点面积

焊点面积为前景像素点的面积之和, 即图像内连通区域的像素个数。

4)致密性

致密性表示的是焊点的图像周长和面积之间的关系, 其表达式为:

image.png


4. 2. 3焊点缺陷的分类


在环形光源的照射下, 焊点的图片能够以较高的对比度显示出来, 从而能够识别

出缺陷。 以下为本课题所研究的四种缺陷, 它们分别为漏焊、 焊点粘连、 虚焊和过焊。

1. 漏焊。 图4-6是漏焊的情况, 图像中本来有四个焊点, 但是只能显示前

三个点的焊点图像, 而第四个点的焊点因为漏焊了 无法显示。

image.png

2. 焊点粘连, 两个或者多个焊点连在一起时, 我们就说焊点粘连。 此时,

焊点的个数变小, 同时粘连面积大的十分凸显, 如图4. 7所示。


image.png

3. 虚焊。 当焊点面积十分小时, 虚焊的情况出现, 因为点焊机的力度和时

间不够, 噪声虚焊, 如图4. 8中的第一个点:

image.png

如上图, 当焊点面积明显小于标准焊点面积的50%的时候, 我们判断该种情

况为虚焊。

4. 过焊。 当点焊过重时, 造成焊穿, 此种情况为过焊, 如图4-9的第二行

第二个点。


image.png

如上图, 当内圆面积减去焊点图像面积之差大于焊点内接圆面积的50%

时, 则可判断出现焊穿。


4. 2. 4缺陷识别系统


本系统所硬件配置为:

操作系统: Windows 7

开发工具: Visual Studio 2010+Opencv 2. 4. 1

CPU- Intel Core i3. 3 110M 2. 4GHz

内存: 4 GB

显示卡: NVIDIA GeForee 710M

软件主界面如下图所示, 系统可以识别出焊点的五种情况, 分别是正常、 漏

焊、 焊点粘连、 虚焊、 过焊。


image.png

image.png

4. 3实验结果及分析

本实验设置正确焊点图像的特征参数, 然后分别对正常焊点、 漏焊、 焊点粘

连、 虚焊和过焊输入。 输入4副图像, 每幅图像中标准情况含有三个焊点: 以

各焊点的外接矩形面积、 内圆面积、 焊点的面积、 致密性作为输入的判断标准,

得到图4. 1 1所示结果, 表4. 1是焊点特征的参数列表。


image.png

image.png

image.png

image.png

image.png

image.png

image.png

实验数据表面, 本课题提出的算法能够对焊点的缺陷进行有效地检测, 可以

大大缩减检测时间、 提高检测效率。


4. 4本章小结


本章主要介绍了 系统总体设计和实现:

1)系统的硬件模块组成;

2)软件的流程图和系统界面;

3)焊点的缺陷和特征分类说明;

4)实验结果及分析。


结果与展望


总结


焊点的缺陷检测算法焊点检测领域的一个重点, 也是一个难点, 本文主要

对手机电池极耳的焊点进行检测。 焊点检测的核心是图像处理和分析, 本文在

对图像处理和机器视觉技术进行深入分析的基础上, 采用相关的图像处理算法,

对焊点的漏焊、 焊点粘连、 虚焊和过焊四种缺陷进行识别。

本文的主要工作包括在以下几个方面:

1、 讨论了 图像预处理的方法, 分别对均值滤波法、 中值滤波法、 小波滤波

法、 形态学滤波法进行了 比较, 采用改进的中值滤波算法进行图像去噪。

2、 图像分割是焊点缺陷识别的一个很重要的工作, 在文中讨论了 多种经典

的图像的分割方法, 提出了 一种改进的二值图像分割算法, 同时采用改进的基

于距离变换的分水岭图像分割算法。 该方法能够很好地实现焊点图像的分割,

为图像的特征提取和识别奠定基础。

3、 对于焊点特征提取和识别部分, 首先, 引入四种焊点缺陷类型: 漏焊、

焊点粘连、 虚焊和过焊, 同时提出了 焊点的特征选择参数。 最后通过实验证明。

本文提出的焊点缺陷检测方法, 能够高效地实现焊点的鉴别。


展望

基于本文工作的内容, 还需从以下几方面进行改进或者进一步研究:

(1)图像的预处理步骤还不是很完美, 希望对图像去除噪声部分, 能够有更深入

地研究, 专门针对焊点图像的降噪算法;

(2)图像分割的准确率还待提高, 希望对于背景和前景的分割率能够得到更好的

处理效果;

(3)图像的特征提取关系到整个系统的缺陷识别率, 同时, 提取出准确的特征、

减小缺陷识别的时间也是本课题待解决的问题。



参考文献

【1】 吴浩. 基于模式识别技术的焊点自动光学检测算法研究【D】 . 广州: 华南理工大学, 2013

【2】 Madhav Ma, Fikret E, Cihan

Survey【J】 -Computer Vision

H. Daglib. Automatic PCB

and Image Understanding,

I nspection Algorithms:

1996, 62(2); 287・313

【3】 Wen Y. W, Mao J. W, Chih M.

L. Automated inspection of printed circuit boards

through machine vision【J1. Computers in Industry, 1 994, 28(2): 1 03—1 1 1.

【4】 任斌. AOI机器视觉系统中检测光源的分析和设计【J】 . 微计算机信息, 2009, 25(9): 42. 45

【5】 孙明睿. AOI设备在PCB和SMT主要生产环节中的应用【J】 . 电子工业专用设

备. 201 2. 204: 42. 46

【6】 马灿. PCB缺陷智能视觉检测系统研究与设计【D】 . 长沙: 湖南大学, 2012

【7】 Y. K. pyu, H. S. Cho. Visual Inspection Scheme for Use in Optical, Solder Joint

Inspection System[J], International Conference on Robotics

andAutomation, IEEE, 1 996, 325—3264

【8】 N. S. S。 Mar, P. K。 D. V. Y. Design and development of automatic visual inspection

system for PCB manufaCturing. Robotics and Computer-Integrated Manufacturing,

201 1。 27: 949-962

【9】 Acciani G, Brunetti G, Fornarelli G. Application of neural networks in optical

inspection and classification of solder joints

in surface mount

technology. I EEE

Transactions on Industrial Informatics 2006, 2: 200—209

【1 0】 Acciani G, Brunetti G, Fornarelli G. A multiple neural network system to

classify

solder joints on integrated circuits. International Journal of Computational

Intelligence Research 2006, 2: 337—348

f1 1】 Jiang BC, Wang CC, Hsu YN。 Machine vision and background remover—based

approach for PCB solder joints inspection【J】 . International Journal of Production

research, 2007, 45: 451-464

【1 2】 Y. K. RYU. A neural network approach to extended Gaussian image based solder

joint inspection. Mechatronics, 1 997, 7(2): 1 59-1 84

【13】 Ong T’ Samad Z, Ratnam M.

Solder joint inspection with multi-angle imaging and an

artificial neural network. The International Journal of Advanced

Manufacturing

Technology. 2008, 38: 455-462.

【14】 蔡念。 陈坚生等. 焊点质量检测新方法【J】 . 计算机工程与应用. 201 0, 46(24): 243. 245


本文出自勇哥的网站《少有人走的路》wwww.skcircle.com,转载请注明出处!讨论可扫码加群:

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

会员中心
搜索
«    2024年4月    »
1234567
891011121314
15161718192021
22232425262728
2930
网站分类
标签列表
最新留言
    热门文章 | 热评文章 | 随机文章
文章归档
友情链接
  • 订阅本站的 RSS 2.0 新闻聚合
  • 扫描加本站机器视觉QQ群,验证答案为:halcon勇哥的机器视觉
  • 点击查阅微信群二维码
  • 扫描加勇哥的非标自动化群,验证答案:C#/C++/VB勇哥的非标自动化群
  • 扫描加站长微信:站长微信:abc496103864
  • 扫描加站长QQ:
  • 扫描赞赏本站:
  • 留言板:

Powered By Z-BlogPHP 1.7.2

Copyright Your skcircle.com Rights Reserved.

鄂ICP备18008319号


站长QQ:496103864 微信:abc496103864