一、先来看理论： 摘自论文《基于HDevelop的形状匹配算法参数的优化研究》
1. Shape-Based matching的基本流程
HALCON提供的基于形状匹配的算法主要是针对感兴趣的小区域来建立模板，对整个图像建立模板也可以，但这样除非是对象在整个图像中所占比例很大，比如像视频会议中人体上半身这样的图像，我在后面的视频对象跟踪实验中就是针对整个图像的，这往往也是要牺牲匹配速度的，这个后面再讲。基本流程是这样的，如下所示：
⑴首先确定出ROI的矩形区域，这里只需要确定矩形的左上点和右下点的坐标即可，gen_rectangle1()这个函数就会帮助你生成一个矩形，利用area_center()找到这个矩形的中心；
⑵然后需要从图像中获取这个矩形区域的图像，reduce_domain()会得到这个ROI；这之后就可以对这个矩形建立模板，而在建立模板之前，可以先对这个区域进行一些处理，方便以后的建模，比如阈值分割，数学形态学的一些处理等等；
⑶接下来就可以利用create_shape_model()来创建模板了，这个函数有许多参数，其中金字塔的级数由Numlevels指定，值越大则找到物体的时间越少 ，AngleStart角度起始值和AngleExtent是角度的旋转范围，AngleStep指定角度范围搜索的步长；这里需要提醒的是，在任何情况下，模板应适合主内存，搜索时间会缩短。对特别大的模板，用Optimization来减少模板点的数量是很有用的； MinConstrast将模板从图像的噪声中分离出来，如果灰度值的波动范围是10，则MinConstrast应当设为10；Metric参数决定模板识别的条件，如果设为’use_polarity’，则图像中的物体和模板必须有相同的对比度；创建好模板后，这时还需要监视模板，用inspect_shape_model() 来完成，它检查参数的适用性，还能帮助找到合适的参数；另外，还需要获得这个模板的轮廓，用于后面的匹配，get_shape_model_contours() 则会很容易的帮我们找到模板的轮廓；
⑷创建好模板后，就可以打开另一幅图像，来进行模板匹配了。这个过程也就是在新图像中寻找与模板匹配的图像部分，这部分的工作就由函数find_shape_model()来承担了，它也拥有许多的参数，这些参数都影响着寻找模板的速度和精度。这个的功能就是在一幅图中找出最佳匹配的模板，返回一个模板实例的长、宽和旋转角度。其中参数SubPixel决定是否精确到亚像素级，设为’interpolation’，则会精确到，这个模式不会占用太多时间，若需要更精确，则可设为’least_square’,’lease_square_high’，但这样会增加额外的时间 ，因此，这需要在时间和精度上作个折中，需要和实际联系起来。比较重要的两个参数是MinSocre和Greediness，前一个用来分析模板的旋转对称和它们之间的相似度，值越大，则越相似，后一个是搜索贪婪度，这个值在很大程度上影响着搜索速度，若为0，则为启发式搜索，很耗时，若为1，则为不安全搜索，但最快。 在大多数情况下，在能够匹配的情况下，尽可能的增大其值。
⑸找到之后，还需要对其进行转化，使之能够显示，这两个函数vector_angle_to_rigid()和affine_trans_contour_xld()在这里就起这个作用。前一个是从一个点和角度计算一个刚体仿射变换，这个函数从匹配函数的结果中对构造一个刚体仿射变换很有用，把参考图像变为当前图像。
(6)Optimization（优化）：定义模板定位时使用的特征点的数量，在模板数据量大时有必要降低数据量（point_reduction_high），以提高定位速度,默认为auto；
(7)Metric:匹配极性参数，ignore_globle_polarity可以为目标与模板极性完全相反（globle的）；ignore_local_polarity为允许部分极性相反；ignore_color_polarity用在单通道图像上效果与ignore_local_polarity效果相同，use_polarity与ignore_globle_polarity仅能用在亚像素精度上；ignore_part_polarity允许不同极性部分之间的变化，极性相同的部分内部不得改变，应是包含ignore_globle_polarity；
If Metric = 'use_polarity', the object in the image and the model must have the same contrast.如果使用use_polarity，图像中的对象和模型必须具有相同的对比度。
(9)Greediness：启发式搜索启用等级，0最高但速度慢，1最快但可能会错漏；
(10)ResultType：显示结果图形，image_rectified为校正后图形，rector_field为网格线显示，deformed_contours为变形轮廓
2. 基于形状匹配的参数关系与优化
在HALCON的说明资料里讲到了这些参数的作用以及关系，在上面提到的文章中也作了介绍，这里主要是重复说明一下这些参数的作用，再强调一下它们影响匹配速度的程度；
在为了提高速度而设置参数之前，有必要找出那些在所有测试图像中匹配成功的设置，这时需考虑以下情况：
① 必须保证物体在图像边缘处截断，也就是保证轮廓的清晰，这些可以通过形态学的一些方法来处理；
② 如果Greediness值设的太高，就找不到其中一些可见物体，这时最后将其设为0来执行完全搜索；
③ 物体是否有封闭区域，如果要求物体在任何状态下都能被识别，则应减小MinScore值；
④ 判断在金字塔最高级上的匹配是否失败，可以通过find_shape_model()减小NumLevels值来测试；
⑤ 物体是否具有较低的对比度，如果要求物体在任何状态下都能被识别，则应减小MinContrast值；
⑥ 判断是否全局地或者局部地转化对比度极性，如果需要在任何状态下都能被识别，则应给参数Metric设置一个合适的值；
⑦ 物体是否与物体的其他实例重叠，如果需要在任何状态下都能识别物体，则应增加MaxOverlap值；
⑧ 判断是否在相同物体上找到多个匹配值，如果物体几乎是对称的，则需要控制旋转范围；
如何加快搜索匹配，需要在这些参数中进行合理的搭配，有以下方法可以参考：
① 只要匹配成功，则尽可能增加参数MinScore的值；
② 增加Greediness值直到匹配失败，同时在需要时减小MinScore值；
③ 如果有可能，在创建模板时使用一个大的NumLevels，即将图像多分几个金字塔级；
④ 限定允许的旋转范围和大小范围，在调用find_shape_model()时调整相应的参数；
⑤ 尽量限定搜索ROI的区域；
除上面介绍的以外，在保证能够匹配的情况下，尽可能的增大Greediness的值 ，因为在后面的实验中，用模板匹配进行视频对象跟踪的过程中，这个值在很大程度上影响到匹配的速度。
当然这些方法都需要跟实际联系起来，不同图像在匹配过程中也会有不同的匹配效果，在具体到某些应用，不同的硬件设施也会对这个匹配算法提出新的要求，所以需要不断地去尝试。在接下来我会结合自己做的具体的实验来如何利用HALCON来进行实验，主要是在视频对象分割和视频对象的跟踪方面。
进一步分析：inspect_shape_model 函数查看设置的结果。如果最高层金字塔的信息太少，算法内部会自动减少金字塔层数，如果最底层金字塔的信息太少，函数就会报错。如果设为auto，算法会自 动计算金字塔的层数，我们可以通过get_shape_model_params 函数查看金字塔的层数。如果金字塔的层数太大，模板不容易识别出来，这时需要将find_shape_model函数中MinScore和Greediness参数设置的低一些。如果金字塔层数太少找到模板的时间会增加。可以先使用inspect_shape_model函数的输出结果来选择一个较好的金字塔层数。 complete pregeneration ，不同角度的模板图像将会产生并保存在内存中 。用来存储模板的内存与旋转角度的数目和模板图像的的点数是成正比的。 因此，如果AngleStep太小或是AngleExtent太大, 将会出现该模型不再适合（虚拟）内存的情况 。在任何情况下，模型是完全适合主存储器的，因为这避免了操作系统的内存分页，使得寻找匹配模板的时间变短。由于find_shape_model函数中的角度可以使用亚像素精度，一个直径小于200像素的模板可以选择AngleStep >= 1. 如果选择AngleStep='auto' (or 0 向后兼容), create_shape_model将会基于模板的大小自动定义一个合适的角度步长. 自动计算出来的AngleStep 可以使用get_shape_model_params函数查看。没有选择complete pregeneration , 该模型会在每一层金字塔上建立在一个参考的位置。这样在find_shape_model函数运行时，该模型必须转化为不同的角度和尺度在运行时 在。正因为如此，匹配该模型可能需要更多的时间。按照Optimization的数值会将模型的点数减少 . 如果模型点数变少了，必须在find_shape_model函数中将参数Greediness设为一个比较小的值, 比如：0.7、0.8 。对于比较小的模型, 减少模型点数并不能提高搜索速度，因为这种情况下通常显着更多的潜在情况的模型必须进行检查。如果Optimization设置为'auto'， create_shape_model自动确定模型的点数。Optimization的第二个值定义了模型是否进行预处理 set_system ('pregenerate _shape_models',...)来 设置的，对于默认值是 ('pregenerate_shape_models' = 'false'), 模型没有进行预处理. 模型的预处理设置通常会导致比较低的运行时间 没有 completely pregenerated find_shape_model函数中通常返回一个较低的scores ，这可能需要将MinScore设置成一个较低的 值（相似度）。此外，在两个模型中插值法获得的位置可能略有不同。如果希望是最高精确度，应该使用最小二乘调整得到模型位置。Contras 决定着模型点的对比度。对比度是用来测量目标与背景之间 目标不同部分之间局部的灰度值差异 主要特征用于模型中 ['auto_contrast','auto_min_size'] MinContrast 用来确定在执行find_shape_model函数进行识别时模型的哪一个对比度必须存在，也就是说，这个参数将模型从噪声图像中分离出来 乘以通道个数的平方根再去设置MinContrast 图像中匹配模板的条件 'use_polarity' ，图像中的目标必须和模型具有一样的对比度 。例如，如果模型是一个亮的目标在一个暗的背景上，那么仅仅那些比背景亮的目标可以找到 'ignore_global_polarity' ,在两者对比度完全相反时也能找到目标 。在上面的例子中，如果目标是比背景暗的也能将目标找到。find_shape_model函数的运行时间在这种情况下将会略微增加。如果Metric = 'ignore_local_polarity', 即使局部对比度改变也能找到模型
如果是多通道图像作为模板图像或搜索图像，仅仅第一个通道被使用 。如果Metric='ignore_color_pol arity' , 即使颜色对比度局部变化也能找到模型
当Metric='ignore_color_polarity' 时，create_shape_model创建的模板通道数目和find_shape_model中的图像通道数目可以是不同的。例如，可以使用综合生成的单通道图像创建模型。另外，这些通道不需要是经过光谱细分(像RGB图像)的。这些通道还可以包括具有在不同方向照亮同一个目标所获得的图像。模板的 初始位置 ，可以在set_shape_model_origin函数中设置不同的初始位置。
应用场合：组件匹配是形状匹配的扩展，但不支持大小缩放匹配，一般用于多个对象（工件）定位的场合。
应用场合：定位对象内部的灰度值可以有变化，但对象轮廓一定要清晰平滑。
应用场合：定位对象内部的灰度值没有大的变化，没有缺失部分，没有干扰图像和噪声的场合。
应用场合：搜索对象有轻微的变形，大量的纹理，图像模糊等场合，速度快，精度低。
应用场合：搜索对象有轻微的变形。
应用场合：搜索对象有轻微的变形，透视的场合，根据一些描述点的位置和灰度值来进行匹配。
1、形状匹配，shape，XY异步缩放
read_image (Image, 'C:/Users/test/Desktop/match/minSampel1.jpg')
*rgb1_to_gray (Image, GrayImage1)
anisotropic_diffusion(Image, ImageAniso, 'perona-malik', 5, 1, 3)
*读取文件中的模板
read_shape_model('C:/Users/test/Desktop/match/modelData1.shm', ModelID)
*模型匹配
dev_display (Image)
*参数说明：
*1、要匹配的图元 2、模型句柄 3、模型最小旋转角 4、模型最大旋转角 5、行方向的最小缩放比 6、行方向最大缩放比 7、列方向最小缩放比 8、列方向最大缩放比 9、找到模型的最小分数
*10、找到模型的数量 11、模型的最大重叠 12、亚像素精度 13、金字塔数 14、贪婪值 15、16找到的图像的中心坐标；17、18行列的缩放比 20、得分
find_aniso_shape_model (Image, ModelID, rad(-20), rad(340), 0.9, 1.1, 0.9, 1.1, 0.1, 1, 0.5, 'least_squares', 0, 0.9, Row, Column, Angle, ScaleR, ScaleC, Score)
for Index := 0 to |Row|-1 by 1
disp_cross(3600, Row[Index], Column[Index], 100, Angle)
disp_message(3600, '得分:'+Score[Index], 'image', Row[Index], Column[Index], 'black', 'false')
endfor
*释放句柄
clear_shape_model (ModelID)
stop()
*参考文献：halcon模板匹配快速入门
*https://blog.csdn.net/weixin_44490080/article/details/91412257 2、形状匹配，local_deformable
*C:/Users/Public/Documents/MVTec/HALCON-12.0/examples/hdevelop/Matching/Deformable
*Create the local deformable model with ignore_polarity as metric.
read_contour_xld_dxf (DxfContours, 'C:/Users/firecat/neiyi+1.dxf', [], [], DxfStatus)
Scale := 4
count_obj(DxfContours, NumberContours)
gen_empty_obj (ScaleContours)
for i := 1 to NumberContours by 1
select_obj (DxfContours, ObjectSelected, i)
get_contour_xld (ObjectSelected, row, col)
Row1 := []
Col1 := []
for j := 0 to |row|-1 by 1
Row1:=[Row1, row[j] * Scale]
Col1:=[Col1, col[j] * Scale]
endfor
*判断轮廓是不是闭合，如果是闭合的，那么使最后一个点与第一个点重合（即让缩放后的XLD也闭合）
test_closed_xld (ObjectSelected, IsClosed)
if (IsClosed == 1)
Row1:=[Row1, row[0] * Scale]
Col1:=[Col1, col[0] * Scale]
endif
gen_contour_polygon_xld (Contour1, Row1, Col1)
smooth_contours_xld (Contour1, SmoothedContours, 5)
concat_obj (ScaleContours, SmoothedContours, ScaleContours)
endfor
*xld拼接
union_adjacent_contours_xld (ScaleContours, UnionContours, 10, 1, 'attr_keep')
* get_contour_xld (UnionContours, Row1, Col1)
*使用仿射变换实现镜像,这里是上下翻转
hom_mat2d_identity (HomMat2DIdentity)
hom_mat2d_reflect (HomMat2DIdentity, 0, 0, 0, 32, HomMat2DReflect)
affine_trans_contour_xld (UnionContours, ContoursAffinTrans, HomMat2DReflect)
*封闭
close_contours_xld (UnionContours, ClosedContours)
*建立模板的方法1:使用xld
create_local_deformable_model_xld (ClosedContours, 'auto', rad(-20), rad(20), 'auto', 0.9, 1.1, 'auto', 0.9, 1.1, 'auto', 'auto', 'ignore_local_polarity', 5, [], [], ModelID1)
get_deformable_model_contours (ModelContours1, ModelID1, 1)
*建立模板的方法2:读取图
read_image (modelImage, 'F:/tmp-source/halconmatchtest/halcontest/pic1/pic_model.jpg')
create_local_deformable_model (modelImage, 'auto', rad(-20), rad(20), 'auto', 0.9, 1.1, 'auto', 0.9, 1.1, 'auto', 'none', 'use_polarity', 'auto', 'auto', [], [], ModelID2)
get_deformable_model_contours (ModelContours2, ModelID2, 1)
*读取待匹配的图片
read_image (Image, 'F:/tmp-source/halconmatchtest/halcontest/pic1/pic_org4.jpg')
*local_deformable匹配
count_seconds (Seconds1)
find_local_deformable_model (Image, ImageRectified, VectorField, DeformedContours, ModelID2, rad(-20), rad(20), 1, 1, 1, 1, 0.5, 0, 1, 0, 0.4, ['image_rectified','vector_field','deformed_contours'], ['deformation_smoothness','expand_border','subpixel'], [21, 0, 'least_squares'], Score, Row, Column)
count_seconds (Seconds2)
Time := 1000.0 * (Seconds2 - Seconds1)
*解析结果
count_obj(DeformedContours, NumberContours)
for i := 1 to NumberContours by 1
select_obj (DeformedContours, ObjectSelected, i)
get_contour_xld (ObjectSelected, row, col)
endfor
stop()
* For the visualization we use the returned vector field
* and generate a grid of the deformation in the search image.
gen_warped_mesh (VectorField, WarpedMesh, 10)
*把函数gen_warped_mesh展开,鼠标右键,在新标签页显示该函数:
gen_empty_obj (ModelMesh)
gen_empty_obj (WarpedMesh)
*VectorField是向量区域图,记录了模板图和待匹配图的映射关系,向量图使用绝对坐标
count_obj (VectorField, Number)
Step:=10
for Index := 1 to Number by 1
select_obj (VectorField, ObjectSelected, Index)
*把vector向量图转换成存储行坐标和列坐标图像
vector_field_to_real (ObjectSelected, DRow, DCol)
*得到向量图的分辨率大小,VectorField可能有多张图,但是每张图大小是一样的
get_image_size (VectorField, Width, Height)
*Horizontal lines,画水平线
for ContR := 0.5 to Height[0] - 1 by Step
Col1 := [0.5:Width[0] - 1]
*生成特定长度的元组及初始化元素
*新元组生成的个数及值是由输入参数Const决定的，Const只由一个元素组成
tuple_gen_const (Width[0] - 1, ContR, Row1)
*Return gray values of an image at the positions given by tuples of rows and columns
*DRow和DCol是模板图,Row1和Col1是模板图的坐标,GrayRow和GrayCol是映射之后的坐标
*双线性插值法
get_grayval_interpolated (DRow, Row1, Col1, 'bilinear', GrayRow)
get_grayval_interpolated (DCol, Row1, Col1, 'bilinear', GrayCol)
gen_contour_polygon_xld (ModelContour, Row1, Col1)
gen_contour_polygon_xld (Contour, GrayRow, GrayCol)
*模板图和映射图坐标做对比
concat_obj (ModelMesh, ModelContour, ModelMesh)
concat_obj (WarpedMesh, Contour, WarpedMesh)
endfor
*Vertical lines,画垂直线
for ContC := 0.5 to Width[0] - 1 by Step
Row1 := [0.5:Height[0] - 1]
tuple_gen_const (Height[0] - 1, ContC, Col1)
get_grayval_interpolated (DRow, Row1, Col1, 'bilinear', GrayRow)
get_grayval_interpolated (DCol, Row1, Col1, 'bilinear', GrayCol)
gen_contour_polygon_xld (ModelContour, Row1, Col1)
gen_contour_polygon_xld (Contour, GrayRow, GrayCol)
concat_obj (ModelMesh, ModelContour, ModelMesh)
concat_obj (WarpedMesh, Contour, WarpedMesh)
endfor
endfor
dev_set_line_width (1)
dev_set_color ('yellow')
dev_display (ModelMesh)
dev_display (WarpedMesh)
dev_set_line_width (3)
dev_set_color ('red')
dev_display (ModelContours2)
dev_set_color ('green')
dev_display (DeformedContours)
* Clean up
clear_deformable_model (ModelID1)
clear_deformable_model (ModelID2)
stop() 3、halcon算子参数ANGLE_EXTENT,该数值是旋转范围,注意:不是结束角度。
---
推荐阅读
《图像算法---Image Deformation Using Moving Least Squares》
http://vision.gel.ulaval.ca/~jflalonde/cours/4105/h14/tps/results/project/jingweicao/index.html
影响形状模板匹配的查找速度的参数分析
收藏 | 0 点赞 | 0 打赏作者
本文出自勇哥的网站《少有人走的路》wwww.skcircle.com，转载请注明出处！讨论可扫码加群：
少有人走的路
