第一届挑战赛B3-道路缺陷自动识别

题目道路缺陷自动识别队长李银城成员李燕珊学校(院系)华南师范大学指导教师完成时间2013-04-20 综合评定成绩： 评委评语： 评委签名： 道路缺陷自动识别 摘要： 本文对原始图像采用灰度化、线性和分段增强对比度去噪、二值化、最后去除小区域的图像处理技术进行预处理，对预处理后的不同缺陷类型图像我们建立了两个识别模型： ①通过提取条纹特征、形状特征，运用Apriori算法获取频繁集，建立了关联分析模型； ②进行LBP纹理特征提取，并采用支持向量机的方法建立识别模型，以准确率的比较作为反馈，选取最优的SVM参数，调节基于支持向量机的识别模型； 以上两种模型的建立都很好的解决了道路路面识别的问题，并在此基础上提出一种模型新构想，即用深度学习的机器算法DBN建立识别模型； 关键词：灰度化、去噪、二值化、LBP、SVM、DBN、关联分析、Apriori、频繁集、模式识别 Automated recognition of road defects Abstract: Inthis paper,firstly,we use the technology of gray linear,denoising enhance contrast andsegmentation, binarization, removal of a small area to process the original image . Then we establish tworecognition model: ①we establish anassociation analysismodel, in which we extract 6 features including stripe andshape and getthe frequent itemset by Apriori tobuildthe association. ②we use the LBP pattern to extract texture features,then establish the recognition model based onsupport vector machine,use the accurately rate as feedback to select the optimal SVM parametersto adjustrecognition model; The establishment of the above two models are great to solve the problems ,and finally we think a newmodel that deep learning machine algorithm DBN to build recognition model; Key words:image of gray, denoising, binaryzation, LBP, SVM, DBN, association analysis, frequentitemset, pattern recognition 目录 1.研究目标...............................................................................................6 2.分析方法与过程....................................................................................6 2.3.1基于关联规则的图像挖掘模型.......................................................................132.3.2基于支持向量机的图像挖掘模型...................................................................172.3.3基于机器学习的深度学习网络算法的模型新构想.......................................21 3.结论.....................................................................................................24 4.附录.....................................................................................................24 1.挖掘目标 本次建模目标是利用不同道路缺陷类型图像，采用图像处理技术，对不同缺陷类型进行纹理特征提取，并采用数据挖掘技术进行模式识别，实现不同道路缺陷类型的自动识别。 2.分析方法与过程 2.1.总体流程 本用例主要包括如下步骤： 步骤一：数据准备 题目提供的数据资源比较少，共有5类25张图片，因此，本文仍需搜集图像资源，即实地拍摄图像，并根据图像请地理科学专业学生辨别分类。 步骤二：数据抽取 由数据准备阶段得出的原始数据比较杂乱，经过筛选，得出50张图像，各类10张，建立样本库。 步骤三：数据预处理 图像数据由于颜色以及环境等因素造成噪声比较大，而本文主要是根据提取出图像的纹理几何特征进行建模，因此在这一阶段本文对图像进行灰度化，以及 第6页，共26页 去噪，最后二值化处理，得到只留下目标物体的二值化图像。 步骤四：建立模型 本文建立了两种模型，一种是基于关联规则的方法，另外一种是基于支持向量机的数据挖掘模型，并提出以机器学习的深度学习网络算法建立模型的新构想。 步骤五：结果分析 模型的评判标准，以分类的准确率作为评价标准，根据准确率对整个模型进行反馈调节，最终得出一个分类模型，识别新图像。 2.2.图像预处理 由于原始图像不仅数据量丰富，而且含有很多不相干的信息。因此在进行数据分析之前需要对图像进行预处理。对于一张大小为的24位BMP图像，其数据量达到，即一张普通的位图，在计算机进行运算时一次就得处理75万个整型数。并且大多的数据是不必要的，是噪声数据，因为对本题来说只需抽象出地面的缺陷形状即可。因此先进行预处理是很有必要的，不仅可以减少计算量，而且可以提高准确度，直接影响到之后数据分析结果的好坏。本文采用的预处理的流程见图1： 步骤1：灰度化 采用灰度化算法将R、G、B三通道变为单通道。本文采用加权平均算法，根据人眼对蓝绿红的敏感程序的不同（绿红蓝，依次加权： 加权平均算法能够得到较为合理的灰度图。效果见图2： 灰度化处理将数据量减少到了原始图像的1/3，为进一步的处理提供便利。对其它一些图像挖掘模型来说，灰度化减少了计算量的同时，也减少了数据量，因此对之后的分析造成精度降低的影响。但对本题来说，图像彩色或灰白，无关紧要，因为我们只需要进行二值化抽象出地面（缺陷）的轮廓。 步骤2：线性增强对比度 由于一些图片在拍摄环境较暗或较亮时，或者由于设备原因，导致暴光不足或过度，使得图片整体偏暗或偏亮，地面缺陷不明显，或者图片的灰度值集中在某个区域，导致区分度不高，进一步影响二值化的处理效果。如果先进行线性增强对比度，对这种图片的二值化处理效果会有明显的提高。 线性增强对比度的方法很简单，就是将图片的灰度值范围从原来的例如[20，160]，按照比率关系拉伸到[0，255]。计算公式： 如图3所示， 原始图像的灰度值集中分布在[100，150]之间，进行灰度化处理后，主体部分拉伸到[75，150]，并且[0，255]之间都有像素分布，即分布更加均匀，图片效果如图4： 从图4可以看出，如果直接将灰度化后的图像二值化，由于像素分布的不平均，导致图像绝大部分的灰度值被致为255，即为白色，而经过线性增加对比度处理的有明显的效果（在二值化部分会具体展开讨论）。 步骤3：分段增强对比度 通过观察地面缺陷的图片可以看出，存在严重缺陷的地面，缺陷部分相对于其它部分，都有明显偏白或偏黑，例如，对于严重裂缝、网裂、龟裂，缝痕部分都会偏暗，因为缝的深度影响，使得缝的反射光线不强，因此比较暗，而对于坑槽会偏亮。 根据这个特点，可采用分段线性增强对比度的方法，使得亮暗区分更加显著。 分段增强对比度的方法可将灰度值位于两端的像素——本文采取的范围是[0，97]以及[197，255]，分别压缩至[0，7]和[245，255]，如图5所示： 可以看出，增添了分段增强比对度的处理后抽取缺陷形状的效果更加明显。 步骤4：二值化 二值化的目的是抽取目标物体。简单的做法是设定一个阀值，将灰度值小于这个值 的置为0，大于等于这个值的置为255，将整个图像置只有黑和白的效果。见图5。 还有一种做法是采用“迭代阀值法”其计算较为复杂，并且对于本模型效果不好。而采用直接设定阀值的方法，简单且效果理想。阀值的选取很关键，直接影响抽取目标物体的效果。本文采取[0，255]下四分之一位的阀值，即为，结果表明，该方法对本模型具有普遍性和适用性。 步骤5：去除小区域 从图片5可以看出，二值化后的图片往往具有很多面积很小的零碎区域，这些区域是路面产生的一些噪点，需要将其去除。 首先采用区域标记算法，统计连通区域的个数N，以及每个连通区域的象素个数，将进行排序，取其上四分之一位的值，将作为阀值。对每个连通区域，如果其像素个数小于，则将该区域去除，即将灰度值置为255，相反则保留。如图6所示： 可以看出去除了很多噪点。 至此，整个图像预处理过程结束，为下面的图像数据分析垫定了一个很好的基础。 2.3建立模型 2.3.1基于关联规则的图像挖掘模型 2.3.1.1特征值提取 （1）形状特征 形状特征在路面类型识别中占有比较重要的地位，本文采用紧凑度的方法来定量描述表状特征。紧凑度是根据周长C和面积S计算出来的参数： 当目标区域形状为圆形时，其紧凑度为1，其它形状均大于1。 其中面积S定义为经过二值化操作后图像上所有目标区域（非白色像素）的个数，简单起见，周长C定义为目标区域轮廓的像素个数。目标区域的轮廓可由Sobel算子得到，如图7： 第13页，共26页 通过训练样本的计算结果可见，各种类型的路面紧凑度有着明显的区别： （2）纹理特征 同种的地面类型在局部上可能呈现某种不规则性，而在整体上却呈现某种规则性，纹理特征能够描述这种规律性。本文采用基于灰度共生矩阵的方法提取纹理特征，这种方法不仅简单，而且能够反映不同灰度像素的空间信息。本文使用此方法一大特点是：在根据二值化的图像目标区域的位置，将目标区域还原为原256阶的灰度图。这样子大大减少了无关信息的干拢。然后再计算灰度共生矩阵。 共生矩阵中的元素: 表示图像是在方向上距离为的两个灰度值为出现的联合概率，这个概率值可以通过计算图像上距离为d，并且灰度值分别为的点对的出现数目来确定。设n为图像上距离为d的点对的总数，则共生矩阵的元素可以表示为： 由灰度共生矩阵可计算出各种统计量，本文采用以下五个统计量：能量、熵、惯性矩、居部平稳性、相关性。 （1）能量，它反映的是图像灰度分布均匀性的度量，其计算公式： 第14页，共26页 （2）熵，当灰度矩阵各元素相差不大且分布较散时，其值较大，反之较小： （3）惯性矩，对于粗纹理，其值较大，反之较小： （4）相关性用来描述行或列之间元素的相似性。 本文对所有样本计算0、45、90、135度方向上的以上五个特征值，取其平均值，作为另外五个特征值。另外可取这五个特征值的标准差得到另外五个特征值，但考虑到样本数量较小，不再细取。 考虑到颜色对本模型影响不大，因此不取颜色特征。 （3）选取特征 综上，本模型总共选取了6