少有人走的路下面的清单算是对勇哥的工业自动化职业生涯中有关机器视觉方面的总结。
它是勇哥看到过的一些项目，以及对应的知识点的盘点。
勇哥缺少工匠精神，许多认识不深入，浮于表面，大叔级别的人了对待学习还是有点浮燥，
造成许多知识点勇哥也是一知半解，希望借着这个贴子内容的梳理、和相关的实验的开展，不断的提升自己的知识深度，
最重要一点是形成一种有规划的学习模式，节省时间提升效率。
本贴的内容做为大纲，实际的实验内容勇哥会不断更新贴子出来。所以就将本贴置顶吧。
（一） 单相机标定
（1）halcon的标定助手
这个助手是常用工具，要注意的主要问题是 "品质问题"，"标定的精度"。
使用的标定板有两种类型，多种材质。选择时要配合灯光来选择材质。
例如玻璃标定板只适合背光的设备，正面光源的必须选择陶瓷材质。
（2）halcon算子进行标定
2.1 单相机halcon标定板标定并取得内参
2.2 单相机halcon标定并取得外参
2.3 halcon单相机标定并测量
（3）凌云的标定
（4）SciSmtCam的标定
（5） visionMaster的标埞
（6） visionPro的标定
（7） C#代码实现的标定算法
（8） 相机倾斜、图像畸变环境下的标定
（9） 转盘多工位一维标定
解释：在转盘机上，通常有多个工位，其中C、D工位需要依赖A工位相机提供的位置来进行动态调整位置。
（10）一维标定
（11）多针头标定
这种标定的应用如多针头点胶机，它的特点是：
多个针头之间的位置是固定的
我们标定任意一根针头后，其它的的针头跟距针头相对距离计算出来。
（12）一键标定
即实现只需要放好标定板，机器人自动进行手眼标定。不需要人工去创建工具坐标。
（13）由轴驱动的x,y,θ平台的标定
（14）棋盘格标定
（15） 基本的九点手眼标定，眼在手外(eye to hand)
纸上打九个mark点，进行标准的九点标定。
(16) 勇哥的视觉实验：眼在手上(eye in hand)的标定实验一。相机挂在x,y平台上，全部九点标定特征在相机视野内可见
本例子跟眼在手外标定的方式一样, 只是坐标转换时有一点差别.
勇哥的视觉实验：眼在手上(eye in hand)的标定实验(二)。相机位于机器人第3轴时，并且定位特征在相机视野内不可见
相机位于机器人第3轴时，并且定位特征在相机视野内不可见时的标定
（二） 多相机标定
（1） 多相机关联标定
例如AB两个相机，拍照同一个物体并测量长度。
这时候需要把两个相机标定成一个坐标系。
（2） 相机映射
（三）手眼标定(九点标定)
（1）halcon算子进行标定
勇哥的视觉实验：眼在手上(eye in hand)的标定实验
（2）epson机器人的程序进行标定
（3）凌云的标定
（4）SciSmtCam的标定
（5） visionMaster的标埞
（6） visionPro的标定
（7） 基于机器人工具坐标的九点标定
（8） 自动创建机器人工具坐标进行标定方法
（四）手眼标定后的定位算法
（1） 眼在手外，固定相机，物料正面拍摄，先拍照再取物料，机器人定位
（2） 眼在手上，机器人定位
（3） 眼在手外，固定相机，物料底面拍摄，先取物料再拍照，机器人定位
这种应用，由于在拍照前机械人吸嘴上的物料已经位置不固定，因此可能采取下面的办法确定目标放料位置
a) 多次拍照定位
b) 与模板取料位置比较校准后再和目标模板放料位置做比较校准。即内部经过多次坐标转换。
这种变换即可以通过纯粹的运算来实现，也可以借助于机器人的工具坐标切换来做到。
（五）工业机器视觉应用
测量相关
（1） 测量物料长度、宽度、半径
测量看上去比较简单，难点在现场生产工艺上的配合，以及和客户的数据对标。
（2） 多次拍照，测量大于视野范围的物料
（3） 多相机测量物料长宽
（4） 测量极片的长度
例如动力电池的极片离线测量，它的长度可能达到数米，远超相机视野范围。
这种情况下，相机需要在手上移动连续拍照。
（5） 眼在手上的固定拍照测量
这种方式是把相机固定在运动轴上面，但是由于它标定时是在固定位置，而且拍照时也是在相同的固定位置，所以并不是眼在手上的模式，而是一种特殊的固定相机拍照模式。
之所以这种设计，是因为如果做相机做支架固定安装，运动轴会撞机。（机构限制）
（6）微距小视野测量
通常是视野小于10mm的测量，据说精度可达到0.001级别。
之前勇哥听网友说起这个精度还以为是听错了，因为通常软包电池拉带入料能做到+-0.1mm已经是非常厉害了。
这种情况下视野通常是比较大。
因此小视野，远心镜头的测量的精度究竟能达到多少，现在缺少相关的经验，值得探究一翻。
（7） 单目相机测量距离
（８）双相机测量。一个相机拍物料的左边部分，一个相机通过棱镜反射拍照物料的右边部分。
且两个相机拍到的两个部分不存在交集。
定位相关
（1） A相机标定，B相机不标定，机器人在B相机的视野内定位
由于B相机视野内不方便做标定，因此需要把A相机和B相机做标定映射。
（2） 机器人飞拍
机器人飞拍对相机有要求，必须是全局曝光的相机。之所以飞拍是为了加快机器的CT时间。
（3） 固定单相机正面拍照定位，机器人拉带入料
这种拉带入料有下面的特点：
相机固定在物料的正上方
先拍照然后机器人再来取，因此机器人有机会在取料之前就调整取料位置，这样在放料的时候我们走一个固定求教点就可以了。
最终效果就是每次放料位置能保持一致
（4） XYZ轴点胶定位
这个实验仿primer工作方式：
程序设定由点位置构成的序列，作为点胶路径
相机拍照当前物料的一个起始点位置和物料角度信息提供给点胶程序，然后点胶路径随着这个信息整体做移位与旋转。
最终效果就是无论物料怎么旋转，点胶路径出现在物料上的位置都是固定的。
（5） 整盘物料拍照定位抓取
这个实验模拟整盘物料只拍一次，然后全部物料的抓取坐标发给机器人，然后一个个来抓取。
这种方式是大视野拍照，节省机器整体的CT时间。
（6） 固定相机物料背面拍照，定位后机器人进行放料
这种方式的特点是：
相机在物料下方拍照，通常都是比较小的视野，精度较高
机器人在拍照前已经取得物料（可能是经过粗定位取的料，或者完全盲抓取得类）
（7） 多针头确定工作位置
这种方式类似多针头点胶机，每个针头都有x,y轴控制，可以同时点多个点。
（8） 视觉点胶机
视觉确定点胶位置，然后画圆点胶。例如动力电池模组，需要底部涂一圈AB胶，用来固定圆柱电池。
（9） 一键标定视觉
有如下特点：
不允许拉ROI框
不允许做模板
不允许对每款产品重新进行标定
算法自适应不同型号物料
（10） 定位方式验证
由于物料定位依赖放置目标位置的机械要求，定位方式可有如下几种：
两条相连边与它的的交点，交点做为基准点
三条边，其中一边的中点做为基准点
（11） 粗定位+精定位模式的验证
粗定位用于把物料能抓起来（不需要精准），精定位是为了精准放料。
这种模式非常常见，例如整盘进料的机器，机器人粗定位抓取物料，再精位放置到指定位置。
（12） 无参考点的定位
当相机视野内没有任何可以做参考的对象时，可以把物料放置在视野中的某个参考位置（因为视野的位置是固定的）
（13）矩阵式小件入料盘的定位
3C类机器中这种方式很常见，入料盘中的小件物料是矩阵方式排列的，需要定位进行抓取。
（14） 相机定位控制激光机振镜的打点位置
这在种类激光焊的机器中应用广泛。像大族激光有自己配套的视觉软件来实现这种功能。
这类应用的特点如下：
相机通常只能在前面几个工位提供电池极耳位置信息
振镜是x,y两轴动作
（15） 双相机合作定位物料
相机A定位物料A，机器人移动物料A到相机B的视野内，同一时间相机B拍照物料B，然后综合两组信息，机器人调整物料A的位置在相机B的视野内进行二次定位。
（16） 底相机拍照，确定物料相对于模板的相对偏移位置
机器人先吸起一个模板物料，确定这个物料的位置正好符合安装的要求。之后的生产物料拍照后与这个模板对比，得到机械的偏移坐标进行调整位置。
这种模式下，标定的时候也是用的物料，通过找mark点的方式进行标定。
（17） 让镜头中心对准指定点
让镜头中心对准指定点，这个过程不需要九点标定，或者也可以先进行九点标定。
（18）包装盒贴标签
一般是贴到包装盒指定标记区域。
（19）机器人物料中心对位
两个相机拍产品两个角，机器人对位到产品的中心
（20）上下相机配合贴合产品
相机挂在XY平台上进行运动。吸头可以旋转。
1. 平台移动XY到进料盘（阵列摆放的物料）取出物料，假设吸头按照物料特征制作，这一步吸头按物料特征做中心位置对位，不旋转。
2. 吸头带着物料来到双面胶工位，相机拍双面胶，然后平台移动到下相机，拍照以确认吸头的x,y,u补偿值。然后吸头带着物料去双面胶处压合。
3. 接下来拍载具特征，修正带着物料与双面胶的吸头的x,y,u，贴合到载具特征位置。
状态检测
（1） 物料有无检测
（2） 物料正反检测
（3） 物料角度是否超范围
（4） 焊点检测
一般有如下的要求：
焊点数量
焊点大小
焊点粘连
焊穿点
焊点质量，如虚焊
（5）检测胶水的宽度与连通
（6）电池外观检测
这个是业界难题，一般包括下面的内容
划痕
凸凹点
露铝
印刷缺陷
（7） 包装盒检测
例如印刷体无整性，颜色检测，标志位置检测等。
压合相关
（1） 四相机拍物料四个局部角进行对位贴合
（1.1） 拟合矩形中心对位方法
（1.2） 四个角的gap对位方法
（2） 单相机拍物料轮廓进行对位贴合
（3） 两轴复合压合
例如A轴走Y方向，B轴走X方向和U旋转方向。
A轴为物料底部，B为物料顶盖，进行对位压合。
缺陷检测
(1) 频域相关
读码
3D引导
3D检测
分类器
深度学习
（六） 业余硬件平台下的实验项目
勇哥利用现有设备在家做的一些实验。
在家里设备简陋，做不了什么高精度的实验，主要以验证与应用原理为主。
目前只有一个x,y,z的平台，可以运行G代码，精度还待验证。还有几个plc和一批步进电机和驱动器，几个工业光源、相机镜头。
但是没有工业机器人，少了这个是一大憾事。但是我可以改造一下x,y,z平台，加装一个U轴，这样也勉强算是一个四轴SCARA机器人了吧。
改造的过程勇哥会另外写专题的贴子，如果成功并且可用，那么也是给我们这些穷屌丝带来的福音啊。
（1） 视觉验证机械轴的运动精度
工业上，一般使用三丰探针式位移传感器测量运动精度，可以精确到um级。
但是我们也可以用视觉拍照的方式来验证机械移动的精度。
（2） 视觉定位自动键盘输入
给定一串英文字母与符号，由视觉去寻找识别这个按键在哪里（OCR或者模板匹配），定位后Z轴按下这个键。
目前勇哥手里的x,y,z平台可以实验这个要求。
这个实验的特点如下：
1. 键盘大小超出单相机视野，因此必须眼在手上
2. 提升定位的效率的算法，例如可以考虑预先把分几块拍完键盘区域，分析出全部字符符号的位置。
（3） 带视觉的绘图仪
通过视觉定位起始位置，始终让绘制的图形画在相对于纸张边距不变的位置。
（七）视觉硬件实验
（2） 镜头景深、畸变的实验
（3） CCD曝光、快门、光源曝光的实验
实验适合的快门下，拍摄高速旋转下的一张名片上的文字。体验工业相机和手机相机不的同。
（４）运动物体的拍照，曝光的设置，拖影问题
跟据运动速度计算出最佳曝光时间
（5）硬件触发拍照、软件触发拍照、连续拍照
（6）千兆交换机带多个相机拍照
（八） 交流群的问题
持续添加中……
https://www.baslerweb.com/cn/products/tools/vision-system-configurator/#/selection/cables/power Basler相机的在线选型工具，蛮好用的。
---------------------
作者：hackpig
来源：www.skcircle.com
版权声明：本文为博主原创文章，转载请附上博文链接！
