范文一:基于支持向量机的非结构化道路检测
基于支持向量机的非结构化道路检测 王晓彬 1马戎 1付维平 2
(西北工业大学自动化学院,陕西省西安市, 710072;西安辰飞电气有限公司,陕西省西安市, 710077) 摘要:机器视觉检测非结构化道路边缘的难点在于路面像素与非路面像素特征差异复杂,本文使用支持向 量机分类算法实现了非结构化道路的边缘检测。算法引入感兴趣区域来消除环境噪声,并通过交叉验证方 法优化了算法参数,最后在支持向量机的分类结果上使用霍夫变换提取道路边缘。 Matlab 实验证明算法具 有很好的准确性和鲁棒性。
关键词:支持向量机,非结构化道路,感兴趣区域,霍夫变换
中图分类号:V249.4; 文献标志码 :A
Unstructured Road Detection Based On Support Vector Machine
WANGXIAOBIN 1MA RONG1FUWEIPING 2
(School Of Automation Northwestern Polytechnical University, Xi’ an Shanxi, 710072; XIAN Chenfei Electrical Engineering Co., Ltd Xi’an Shanxi, 710072)
Abstract: The complex pixel features of road area and non-road area are the one of the difficulties in detecting the edge of unstructured road. In this paper, a method of detecting non-road edge based on support vector machine’ s (SVM) is introduced, Region of interest (ROI) is introduced to eliminate environmental noise, and Cross V alidation (CV) is used to achieve the best algorithm parameters. The ultimate road edge is obtained by processing the SVM’ s classification result with Hough Transform. Experiment showed the exactness and robustness of the algorithm.
Key words: SVM, unstructured road, ROI, Hough Transform
0引言:
智能车辆 (Intelligent Vehicle ) 是指可 以利用各种传感技术获取车体自身和车外 环境的状态信息 , 经过智能算法对其进行分 析、 融合处理, 并依赖此信息进行智能驾驶 信息的新兴车辆。 以图像处理为手段的机器 视觉在智能车辆中有着重要地位, 主要体现 在构建机器视觉辅助导航系统、 机器视觉自 适应导航系统、 车辆的自主启停系统以及换 道超车辅助系统等方面 [1]。机器视觉导航的 重要途径通过图像检测以提取道路边缘, 基 于这一热点领域, 本文将感兴趣区域 (ROI ) 分割方法和支持向量机 (SVM ) 分类算法相 结合, 提出了一种针对非结构化道路的机器 视觉边缘检测算法,并在 Matlab 环境中验证 了算法的准确性和可靠性。算法流程如图 1 所示。
图 1 基于 SVM 的非结构化道路检测算法流程 1感兴趣区域分割
图像处理中的 ROI 分割都依赖于具体 的处理对象。 在车载机器视觉中, 图像的道 路特征是相对稳定的, 作为摄像机载体的车 辆运动也是有限的, 据此思路可以得出两个 经验命题:
1、 一般情况下道路在图像中的位置相 对固定;
2、 两幅连续图像有较大的相关性。 道路边缘识别中的 ROI 分割基本是根据 以上两个命题为思路延伸出两种基本的分 割方法, 分别是从道路特征入手和连续图像 相关性入手进行 ROI 分割 [2]。本文通过分析 车辆运动信息和摄像机成像模型, 在图像中 分割出最可能包含道路边缘信息的区域, 作 为实际的图像处理对象。 ROI 分割过程不是 本文重点介绍内容,处理结果如图 2所示。
a) t时刻道路原始边缘
b) t+t 时刻道路边缘估计及 ROI 分割 图 2 道路边缘检测中 ROI 分割
2 支持向量机算法分类像素
非结构化道路缺少稳定的道路模型或 车道线, 难以用直接的线段检测算法来寻找 道路边缘, 因而常采用像素分类的思路区别 道路与非道路区域,常见的像素分割算法 中, 最重要的问题是阈值选取。 在实际情况 下道路环境复杂多变, 色差、 水迹等干扰使 得很难找到确定的阈值以满足精确分割的 需要。 具有神经网络优势的支持向量机分类 算法适应这种样本分类要求。 SVM 可根据有 限的样本信息在模型的复杂性 (即对特定训 练样本的学习精度, Accuracy )和学习能力 (即无错误地识别任意样本的能力) 之间寻 求最佳折衷, 以期获得最好的推广能力 (或 称泛化能力)。
本文的算法环境是 MA TLAB , 采用工具 是由台湾大学林智仁 (Lin Chih-Jen) 副教授 等开发设计的 LIBSVM 模式识别与回归的 软件包。 LIBSVM 的设置为:图像像素输入 为 HSV 模型下的 H 、 S 、 V 分量 [3];选用高斯 径向基核函数 (gauss radical basis function, RBF ) ; SVM 参数为交叉验证 (Cross V alidation ) 的最优值。其中 SVM 参数寻优 算法介绍如下。
2.1 LIBSVM 中参数优化
LIBSVM 中的惩罚参数 c 和核函数参数 g 的选定对于分类精度有很大影响,本文采 用交叉验证的方法寻找最优参数 [4]。步骤 为:(1) 从采集的道路图像中选出道路像素 信息和非道路像素信息作为训练样本; (2) 将样本均分成 K 份, 将其中的一个子集作为 验证集,其余的作为训练集; (3)测试一定 范围内的每个 c 和 g 的分类精度, 选取精度 最高的一组作为最优参数,算法伪代码如 下:
start
bestAccuracy=0;
bestc=0;
bestg=0; %初始化
for c=2^(cmin):2^(cmax)
for g=2^(gmin):2^(gmax) %将 c 和 g 分成 网络化进行搜索
for run=1:K
%将训练集平分为 K 组
end
cv=(acc(1)+acc(2)+… +acc(K))/K; if (cv>bestAccuracy)
bestAccuracy=cv;
bestc=c;
bestg=g;
end
end
end
over
参数优化结果如图 3所示。
图 3 CV 算法参数优化查找结果
从图中可以看出有多组 c 和 g 对应最高 的验证分类准确率, 考虑到过高的 c 会导致 过学习状态的发生, 因此尽可能选取较小的 参数, 本文最终选 c=4, g=4作为最优 SVM 参数。
2.2 基于 ROI 的 SVM 道路像素分类 在使用 SVM 进行像素预测和分类的两 个准备工作是:完成分类图像的 ROI 分割和 完成 SVM 网络训练。在 LIBSVM 环境下的 SVM 网络训练命令为:
Model=svmtrain(train_label,train_matrix,’ -c 4 – g 4 ’ ) , 其中:
train_label:训练集标签;
train_matrix:训练集属性;
’ -c 4 – g 4 ’ :LIBSVM 参数;
Model :训练得到的分类模型。
在对一组如图 2中的道路图像采样后, 使用训练命令得出分类模型,然后在 ROI 内进行道路与非道路分类, LIBSVM 的分类 指令是 “ svmpredict ” 。分类时,记道路区域 的像素属性为 1,非道路区域的像素属性为 0。图 2的分类结果如图 4所示。
图 4 基于 ROI 的 SVM 分类结果
3霍夫变换道路边缘检测
对灰度图像中的曲线提取而言, 霍夫变 换无疑是较为优秀的处理算法, 此处略去霍 夫变换的原理及其在 MA TLAB 中的实现, 主要介绍道路边缘提取时使用霍夫变换的 两个细节:
(1) 无论对于直道还是弯道, 都用直 线拟合道路边缘。 其根据是:首先这种精确 获取近景的道路信息同时损失远景的道路 信息可以满足一般的视觉导航需要; 其次简 化直线道路模型有利于减少运算量, 提高图 像处理频率, 从而能进一步减少对远景道路 信息的依赖。
(2) 根据实际的图像像素, 经多次实验选 择一定的阈值, 合并距离相近的线段, 舍弃 长度太小的线段, 本文设定的阈值为:合并 距离小于 10 pixel 的线段;舍弃长度小于 30 pixel 的线段 [5]。直道和弯道下的霍夫变换检 测出的直线段经延长处理后,可得到如图 5所示检测结果。
(a) 直线道路检测结果
(b) 转弯道路检测结果
图 5 直线与弯曲道路边缘检测结果
从图中可以看出, 基于 ROI 的 SVM 分 类算法经霍夫变换后可以精确地检测到道 路边缘,同时对道路痕迹、阴影、路边树木 等干扰噪声有较好的抑制。 用直线段拟合道 路边缘的方法对于直线道路环境非常有效, 而在弯道环境下容易丢失远景边缘, 但总能 吻合 90%以上边缘, 尤其是能匹配对智能导 航非常重要的近景边缘。
4 总结
本文采用了车辆运动信息与机器视觉 成像模型较为准确地分割出预处理图像的 感兴趣区域,在此基础上使用 HSV 图像模 型作为支持向量机分类算法的输入变量, 进 而实现了非结构道路中的路面与非路面像 素分类, 最后借助有条件假设的霍夫变换检 测道路边缘。 算法较为系统地实现了非结构 化道路环境的道路检测, 存在的问题是更多 地关注了算法的准确性和鲁棒性, 而对算法 的实时性研究较少, 在工程应用中需针对具 体检测对象进行改进和完善。
参考文献:
[1] 李舜酩, 毛建国等, 智能车辆发展及其 关键技术研究现状 [J]. 2009; 28(1) :1-3 [2] 杨杰, 非结构化环境下自主导航系统视 觉技术研究 [D]. 哈尔滨工程大学博士学位 论文, 2008.3
[3] 张玉颖, 基于梯形模型及支撑向量机的 非结构化道路检测 [D].复旦大学硕士学位论 文, 2010.4
[4] 史峰,王小川等, MA TLAB 神经网络 30个案例分析 [M].北京 :北京航空航天大 学出版社, 2010.4
[5] 张德丰,详解 MA TLAB 数字图像处理 [M].北京 :电子工业出版社, 2010.7
范文二:非结构化道路的检测和跟踪_赵俊梅
54
非结构化道路的检测和跟踪
非结构化道路的检测和跟踪
SructurlessRoadDetectionandTrack
赵俊梅
张利平(中北大学信息与通信工程学院,山西太原030051)
摘
要
在智能车辆的道路检测中,非结构化道路检测的研究处于初级阶段。针对非结构化道路,提出了基于区域生长和边缘检测相结合的检测算法,同时利用数学形态学进行修正,并讨论了对道路的感兴趣区域跟踪。
关键词:非结构化道路,区域生长,边缘检测,数学形态学
Abstract
Inlanedetectionofintelligentvehicles,theresearchofstructurlessroadisinbegin.Thepaperdiscussesregiongrowingandedgedetectionforroad.Atthesame,MathematicalMorphologyisrevised.Thewayofbasedontheinterestedregionisusedfortrack.
Keywords:structurlessroad,regiongrowing,edgedetection,mathematicalmorphology道路检测是智能车辆视觉导航研究中的核心问题之一,也是智能车辆发展水平的重要标志之一。实际的道路往往可以分为结构化道路和非结构化道路两类,车辆自动驾驶系统的关键技术之一就是道路检测。结构化道路一般是指高速公路和部分因结构化较好的公路,这类道路具有清晰的车道线和道路边界。此,针对它的道路检测问题可以简化为车道线或道路边界的简化问题,这方面的算法趋于成熟。非结构化道路一般指结构化程度较低的道路,这类道路没有车道线和清晰的道路边界,再加上受阴影和水迹地影响,道路区域和非道路区域更难以区分,所以针对非结构化道路的道路检测技术尚处于研究阶段。
本文提出了针对非结构化道路的检测算法,使用区域生长和边缘检测相结合的方法,综合两者的优缺点对道路边界进行检测,并使用基于集合的数学形态学进行修正。此算法简单,满足实时性要求。图1为非结构化道路图像的流程图。
2区域生长法
区域生长的基本思想是将具有相似性质的像素点集合起来
构成区域。具体先对每个需要分割的区域找一个种子像素作为生长的起点,然后将种子像素周围邻域中与种子像素有相同或相似性质的像素(根据某种事先确定的生长或相似准则来判定)合并到种子像素所在的区域中。将这些新像素当作新的种子像素继续进行上面的过程,知道再没有满足条件的像素可被包括进来。这样一个区域就长成了。
区域生长的一个关键是选择合适的生长或相似准则,大部分区域生长准则使用图像的局部性质。生长准则可根据不同原则制定,而使用不同的生长准则会影响区域生长的过程。本文采用灰度差准则。
区域生长方法将图像以像素为基本单位来进行操作,基于区域灰度差的方法主要有如下步骤:
1)对图像进行逐行扫描,找出尚没有归属的像素。
2)以该像素为中心检查它的邻域像素,即将邻域中的像素
逐个与它比较,如果灰度差小于预先设定的阈值,将他们合并。
3)以新合并的像素为中心,返回步骤(2),检查新像素的邻
图1
无标示的道路图像检测流程图
域,知道区域不能进一步扩张。
1道路图像预处理
摄像机获取的原始图像由于种种条件限制和随机干扰,例如
4)返回步骤(1),继续扫描直到不能发现没有归属的像素,
则结束整个生长过程。
采用上述方法得到的结果对区域生长起点的选择有较大依赖性。为了克服这个问题可采用下面改进方法:
视觉成像系统镜头的脏污,地面凹凸不平引起图像模糊等,不能直接使用,必须对原始图像进行预处理。文章采用中值滤波,它是一种非常实用的非线性信号处理方法,它在一定程度上可以克服线性滤波器,如最小均方滤波、平均值滤波等所带来的图像细节模糊,对滤除脉冲干扰和图像扫描噪声最为有效,并且在实际的运算过程中它并不需要图像的统计特性,为计算带来了方便。
中值滤波具体实现过程与平均值滤波有些类似,也是采用类似卷积的方式对领域进行计算,但它不是简单的加权求和,而是先把领域像素按灰度级进行排序,然后再选择该组的中间值作为模板输出结果。应当指出,二维中值滤波模板窗口的形状和尺寸对中值滤波的效果和实时性有直接的影响。通过反复对比,发现采用3x3方形中值滤波模板对车道图像进行预处理既能取得较好的滤波效果,又能节省运算时间。
1)设灰度差的阈值为0,用上述方法进行区域扩张,使灰度
相同像素合并。
2)求出所有邻接区域之间的平均灰度差,并合并具有最小
灰度差的邻接区域。
3)设定终止准则,通过反复进行上述步骤(2)中的操作将区
域依次合并直到终止准则满足为止。
另外,当图像中存在缓慢变化的区域时,上述方法有可能会将不同区域逐步合并而产生错误。为了克服这个问题,可不用新像素的灰度值去与邻域像素的灰度值比较,而用新像素所在区域的平均灰度值去与各邻域像素的灰度值进行比较。对一个含
N个像素的图像区域R,其均值为:m=1
! f(x,y)。
R
《工业控制计算机》2008年21卷第4期
)-m<T。对像素是否合并的比较测试表示为:maxf(x,yR
55
别这一实时性要求较高的应用中,Sobel算子的实用价值较高,检测效果较好,可以满足系统的使用要求。
3数学形态学
数学形态学是在集合论的基础上发展起来的。数学形态学基
5融合区域生长法和边缘检测算法提取道路边界
本文利用区域生长法和边缘检测算法,边缘与区域信息内
于集合的观点非常重要,这也决定了它的运算必须由集合运算(并、交、补)来定义,所有的图像都必须以合理的方式转换为集合。数学形态学用具有一定结构和特征的结构元素(实际上也是一个集合)去量度图像中的形态,进而解决问题。从集合论的角度来看,数学形态学包含了从一个集合转换到另外一个集合的运算方法。数学形态学的基本运算有4个:膨胀、腐蚀、开启和闭合。
在的全局与局部、粗糙与精确的互补性,便使两种信息融合的方法非常具有吸引力。利用边缘信息的定位精确性和区域信息的适应性,以边沿信息为主,通过区域信息来补偿边沿的部分不确定性,结合景物知识的融合方法,可以同时在适应性和精确性这两个指标上获得良好的性能,这正是算法设计的主要指导思想。
经过区域生长法和边缘检测算法过程的处理,我们可以得到两组边缘信息和区域信息,本文对这两种信息进行融合,真实边界的存在信息就来源于此。这两种信息出现的情况可能有:两种边界信息位置相近,为真实的道路边界;两种边界中,只有一种是真实的道路边界;两种边界都为虚假边界。根据上述三种情况,本文提出算法来计算出真实的道路边界:对己经得到的边缘信息和区域信息,根据它们在空间上应该出现在相同或相近的位置上,来计算两组信息中相应位置上离散点之间的距离。
设La={La1,La2,…,Lam}为边缘边界,其中Lai(i=1,2,…,m)为连续的边缘边界线段,每一个线段由离散的边缘点{(xi,yi),i=
3.1膨胀
膨胀是数学形态学中的基本运算子之一,膨胀的运算符为“,对于一个给定图像集合B,用结构元素S来膨胀,膨胀过! ”
程可以做以下描述:首先对S作关于结构元素原点的映射,并将其映像平移(x,y),最后所有经过平移仍与图像B相交而不为空的结构元素S的原点位置所在像素组成了膨胀后的图像。根据
^)$(x,y)|#上面描述,其数学定义为:D=B! S=&。≠Φ’(s(x,y)∩B
3.2腐蚀
腐蚀是数学形态学中的另一个基本的运算子,运算符为“。对于一个给定的图像B和结构元素S,所有与B具有最(”
大相关的结构元素S的当前位置像素的集合即称之为S对B
(x,y)|Sxy) B’的腐蚀。其数学定义为:E=B(S=&。从数学形式上也可以这样理解腐蚀:用S来腐蚀B得到的集合E,是S完全包括在B中时S的当前位置的集合。
1,2,…,m}组成;Lb={Lb1,Lb2,…,Lbn}为区域边界,其中Lbi(i=
1,2,…,n)为连续的区域边界线段,每一个线段由离散的边缘点
{(xj,yj),j=1,2,…,n}组成;
因为+(xi,yi)∈Lai,且Lai∈La,则可以推出(xi,yi)∈La;同理可以得出(xj,yj)∈Lb,这样可以把两组信息中的线段当作离散的点来处理。根据公式:
d(xi,yi,xj,yj)=-(x-x')+(y-y')<d0
'
'
''
3.3开启和闭合
开启和闭合运算是膨胀和腐蚀的代数运算、集合操作来组成的。开启运算是先对图像进行腐蚀然后再进行膨胀,闭合运算是先对图像进行膨胀再进行腐蚀,数学定义分别为:E=BoS=
(B(S)! S,E=B?S=(B! S)(S。开启运算通过消除边缘的突起而
''
式中d0为空间接近性阈值,一般1<d0<8,若(xi,yi),(xj,yj)满足上式,则认为这两个点是真实的边界点,予于保留。
''
使用图像的边界得以平滑,而闭合运算则是通过先膨胀后腐蚀的处理方法填充图像内部空隙并连接邻近的物体。
经过区域生长法分割后的道路边缘图像中,道路边缘线不一定是连续的,且有一定量的随机噪声,这不便于后续的道路区域检测,考虑把整个道路区域作为一个整体进行处理,就要确保道路边缘图像中道路边缘线的连续性。为了确保整个道路区域在一个封闭区域内,本文采用图像形态闭操作和开操作来解决这个问题,保障道路区域边缘线的封闭性。利用形态学膨胀、腐蚀、开、闭操作对图像进行滤波,其效果决定于结构元与图像形态匹配程度。结构元的尺寸过小,则噪声去除不干净,随着结构元尺寸的增大,图像边缘的构形也随之增加,计算量也会增大,所以结构元的选择比较重要。考虑到道路图像中道路边缘比较连续,本文中所用的结构元为,结构元如下式所示:
6利用感兴趣区域跟踪
在确定了道路边界的准确位置后,车辆进入稳定跟踪的阶
段。这时算法转入跟踪识别模块,跟踪识别算法只需要在感兴趣区域对道路边界进行识别。道路跟踪算法是指车辆处于稳定的行驶状态,利用前一次的道路识别结果来限定当前识别过程中图像的搜索区域,进行实时的道路检测,该算法实质也是道路检测算法。根据前一次识别出的道路边缘线,动态的调整感兴趣的区域范围,进一步提高道路识别的实时性。跟踪算法可以利用前一识别过程得到的道路边界参数来预测。这样就可以把对道路边界的识别限制在一个很小的范围内,即所谓的感兴趣区域。本文根据大量实验得出,当感兴趣区域为道路边界5到10个像素范围内时,识别的准确性和实时性是比较好的。这样可以排除很多不必要的干扰,以右边界为例:蓝色长方形框代表感兴趣区域,白色点为识别到的道路边界点。这部分的算法如下:
#*
010111010
4边缘检测算法
微分算子类边缘检测是最基本的边缘检测方法,这类算法
1)根据上一帧道路图像确定道路边界线的感兴趣区域。
2)在感兴趣区域范围内识别出道路边界线的位置。根据左
右边界点求出道路中心点,拟合出道路中心线。
较为简洁,计算量较小,并且十分有效。本文利用Sobel算子,
3)求出车辆偏离道路中心线的位置偏差和方向偏差。7
仿真结果和分析
在实际的道路中,车辆行驶的路面往往不是良好的有道路标识线的板油路面,而是粗糙的无标识线的道路。本文利用
Sobel算子是一种一阶微分算子,可以利用快速卷积函数,简单有效,故成为边缘检测法中极为常用的算子。Sobel算子的优点是方法简单、处理速度快,并且所得的边缘光滑、连续。Sobel算
子不仅计算量小,算法简单,而且对各种噪声条件下的图像检测效果都比较令人满意,受噪声影响比较小,检测结果的边缘比较连续,定位也比较准确,误判点较少。在智能车辆系统的道路识
VC6.0编程对采集的非结构化道路图像进行仿真实验。本文通
过结合区域生长法和边缘检测算法优缺点,利用数学形态学修
(下转第57页)
《工业控制计算机》2008年21卷第4期
57
表2
表3
3.3高速公路监控系统报文拟定3.3.1帧类别
根据路网监控系统的实际情况,在保持原定义的类型标识主要功能不变的前提下,改变了对部分帧类别的定义。
定义充分考虑了路网各外场设备的属性及参数,拟定相应的信息元素,适用性好,而且预留了相应的帧类别定义,可由另外标准定义其应用,可扩展性强。
3.4.1帧类别61H(路段信息),功能码01H(路段长度)
具体报文各字节含义如下:
3.3.2源站址,目的站址
报文的源站址,目的站址对应于监控总中心,监控分中心,各监控站,唯一标识各监控站及设备。根据具体情况设置源站址和目的站址。设置范围0~255,其中1~255代表监控站号或设备号,通常监控总中心地址设为00H。注意上下行报文信息源站址目的站址需要互换。
控制字中其余报文沿用CDT通讯规约中的定义。
3.4.2帧类别B3H(车辆检测信息),功能码08H(平均车速)
具体报文各字节含义如下:
3.3.3功能码
对于协议所拟定的表2中的9个帧类别,分别定义相应的功能码元素集,受到篇幅的限制,在此不一一给出其具体定义,主要以路段信息、车辆检测信息、气象监测信息及设备工作状态的相关信息元素集为例,分别如表3所示。其中,帧类别61H的信息元素集反映了所管辖路段的相关信息,如所辖范围的路段长度、道路封闭信息,车道占有率等,便于上层的监控和管理;帧类别B3H的信息元素集反映了检测到车辆的相关信息,如车流量,车速;帧类别85H的信息元素集反映了所管辖路段的气候状态,如路段的天气状态、温度、湿度、温度、风向等;帧类别A8H的信息元素集反映了可变情报板的状态信息,可变情报板的运行状态,告警信息代号,设置显示命令等。
4结束语
随着高速公路的飞速发展,已经覆盖了全国大部分地区,区
域联网化成为高速公路发展的必然趋势,因此制定一种统一的各区域间通用的通信协议已经成为高速公路发展的内在要求。为此本文提出了将电力系统中的循环式远动规约(CDT规约)移植到高速公路监控系统作为其数据通讯协议的设想,作为一个参考和方法。
参考文献
[1]白一凡.高速公路监控系统体系结构的研究[J].辽宁交通科技,2003
(6):50-52
[收稿日期:2007.7.10]
3.4高速公路监控系统报文举例
现在分别以帧类别61H,功能码01H(路段长度),帧类别B3H(车辆检测信息),功能码08H(平均车速)为例,分别如表表3所示。2、
(上接第55页)
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
正,最后使用感兴趣区域进行跟踪,最终检测到道路中心线。
从仿真实验结果可以看出,算法可以检测到道路的边界和道路中心线,进而我们可以控制车辆安全地运行。
参考文献
[1]胡小锋,赵辉.VisualC++/MATLAB图像处理与识别实用案例精选
[M].北京:人民邮电出版社,2004
[2]王强.智能车辆视觉辅助导航中的道路检测技术研究[M].南京:南京
航空航天大学,2005
[3]朗锐.数字图像处理学VisualC++实现[M].北京:北京希望电子出
版社,2003
[4]刘佳.用于运梁车辅助驾驶的道路与路标识别[M].北京:燕山大学,
2006
[5]布洛基,布图兹,等.智能车辆[M].北京:人民交通出版社,2002[6]MuneoYamada,ToshihiroOshima,KojiUeda,IsaoHoribaand
ShinYamamoto,Astudyoftheroadsurfaceconditiondetec-tiontechniquefordeploymentonavehicle,JSAEReview,Volume24,Issue2,April2003,Pages183-188
[7]YuichiKato,TakashiHayashiandTamotsuKitagawa,Detection
ofextraneousabnormalsoundsaffectingroadtraffioisebyuseofanecessaryconditionmethod,AppliedAcoustics,Vol-ume67,Issue10,October2006,Pages1009-1021[8]马颂德,张正友.计算机视觉[M].北京:科学出版社,1998
[收稿日期:2007.9.27]
范文三:结构化道路车道线的鲁棒检测与跟踪
光 电 子 激 光
第 21卷 第 12期 2010年 12月 Journal of Optoelectronics Laser V ol. 21N o. 12 Dec. 2010结构化道路车道线的鲁棒检测与跟踪 *
刘献如 **, 蔡自兴
(中南大学 信息科学与工程学院 , 湖南 长沙 410083)
摘要 :针对智能车在视觉导航过程中车道线检测的鲁棒性和实时性问题 , 提出一种适用于结构化道路的车道线
鲁棒检测与跟踪方法。首先 , 简化的 Sobel 算子提取车道线边缘图像 , 将边缘图像与改进的 Otsu 方法得到的车
道线分割图像进行融合 , 实现对车道线标记点的鲁棒检测 ; 然后 , 采用迭代最小二乘方法拟合车道线标记点并
去除干扰点 , 并根据拟合参数建立车道线模型 ; 最后 , 引入尺度无迹卡尔曼滤波 (SUKF) 对车道线进行跟踪。通
过对多段实地采集的视频进行了仿真实验 , 结果表明 , 该方法对于高速公路车道线的检测率可达到 99%, 并具
有较好实时性能 ; 对于受损和弄污的城市道路车道线也体现出较好的鲁棒性和时间性能。
关键词 :车道线检测 ; 改进 Otsu; 车道线跟踪 ; 尺度无迹卡尔曼滤波 (SUKF) ; 智能车
中图分类号 :TP242 文献标识码 :A 文章编号 :1005 0086(2010) 12 1834 05
Robust lane detec tion and tr acking for the structure d road
LIU Xian ru **, CAI Zi x ing
(School of Informati on Science and Engineer i ng, Central South U niversity, Changsha 410083, China)
Ab st ract :Aiming at the robust and real time proble ms of lane detection in the visual navigation system of
intelligent vehicles, a robust lane detection and tracking me t hod is proposed for the structured road.
Firstly, the lane marking pixels are reliably de t ec t e d by fusing the lane edge image with the simplified
Sobel algorithm and the lane segmentat ion image with the improve d Otsu method. Sec ondly, the iterat ive
least square method is propose d for fitting t he lane markings and removing the non lane markings. T he n
the lane model is constructed according to the fitting para meters. Finally, the scaled unscent ed Kalman
filter(SUKF) is introduc ed for trac king the lanes and loc ating them in succ essive frames. T he simula
t ions of the proposed method are carrie d on several videos. T he result s show that the proposed me thod
can supply the highway lane detection rat e up to 99%and has good time performance. T he algorithm is
also applicable to impaired and dirty town roads, which also has better robust and time performance.
Ke y wor ds :lane detection; improve d Ot su; lane tracking; scaled unsc ented Kalman filter(SUKF) ; int e l
ligent vehicles
1 引 言
快速而准确地识别出车道标识线是实现智能车辆自主导 航的关键问题之一。由于视觉系统获取的图像可以为车辆导 航提供丰富的信息 , 如位置、 道路标记、 路面边界和车辆行驶方 向等 , 于 是基于计算机视觉的车道线检测 与跟踪成为当前研究 热点。
实时有效地获取车道标志线是实现智能车安全正确行驶 的重要保证。通常的做法是 利用不同车道线模式 (实或虚的白 色线等 ) 或者不同的道路模型 (2D 或 3D, 直或曲 ) , 利用相关的 检测技术实现车道线的检测与跟踪 [1]。这些方法大体可分为 基于特征和基于模型两大类。基于特征的方法通过结合低层 特征 (如边缘 ) 对路面图像分割定位车道线 [2,3], 但仅适用于干 净而光 照较好路面图像 , 同时对遮挡或噪声干扰无能为力。基 于模型的方 法仅采用少量的参数描述车道线 [4, 5], 如事先假定 车道线的形 状为直线或抛物线 , 那么车道线检测过程可看作是 计算这些模 型参数的过程。基于模型的方法比基于特征的方 法具有 更强的抗干扰能力和抗遮挡能力 。目前 , 对于车道线的 跟踪大都采用卡尔曼滤波 (KF) [6, 7]或粒子滤波 (PF) [8~10], 但 KF 算法只适用于线 性应用场合。而 PF 算法存在粒子多样性 衰竭问题 , 虽然通 过重采样技术可一定程度上缓解该问题的严 重性 , 但无疑增加 了算法的复杂度。
针对以 上问题 , 本文提出鲁棒的车道线检测与跟踪方法。 首选采用 Sobel 检测算子获取车道线边缘图 ; 针对 Otsu 方法对
收稿日期 :2010 04 01 修订日期 :2010 07 22
* 基金项目 :国家自然科学基金重大专项资助项目 (90820302) ; 国家自科学基金面上资助项目 (60805027) ; 国家博士点基金资助项目 (200805330005) *:com
低对照比图像难以准确分割出车道的缺点 , 提出了改进的 Ot su 方法实现对图像的二值分割 , 结合边缘图像 , 实现对车道线 的粗检测 , 再采用迭代最小二乘曲线拟合 方法获得车道线的模 型参数 ; 在车道线跟踪部分引入尺度无迹卡尔曼滤波 (SUKF, scale unscented Kalman filter) 对车道线跟踪预测。
2 车道线的检测
安装在无人车前方的智能相 机实时检测与跟踪车道线 , 以 保证车辆安全行驶。一般地 , 智能 相机所获取的图像最上面的 1/3是天空或是 较远的非暂时关注的问题 , 在此略去不 计。
2. 1 边缘检测
边缘检测主要是 (图像的 ) 灰度变化的度量、 检测和定位 , 关于边缘检测算法很多 , 在车道线检测中常用 Canny 算法 [5], 但是 Canny 边缘 检测计算量大。车道线大部分 是阶梯形边缘 , 如果定义变度曲面在这个点是 N 阶不连续 , 那么阶梯形边缘 是一阶不连续的 , 因此采用梯度求解算子 就可获取车道线的边 缘信息 , 而 Sobel 算 子具有较好计算效果和时间性能 。将 Sobel 的两个卷积核 , d y =[-1, -2, -1; 0, 0, 0; 1, 2, 1]、 d x =[-1, 0, 1; -2, 0, 2; -1, 0, 1]对图像进 行卷积 , 令图像为 f (x,y), 则 (x, y) 处的梯度和方向角分别为
G(x, y) =+d x (1) O (x, y) =arg tan(d y/d x) (2) 为了减少 计算量 , 将式 (1) 简化为 G(x, y) =|d y |+|d x |, 这并不影响边缘提取的结果。 方向角式 (2) 计算也较复杂 , 且其 贡献 甚微 , 在此省略不计。 实验过程中 , 当 G(x,y) >th, th 为一 设定的阈值 , 则认为存在边缘点 , 同时进行标记 ; 否则 , 视为背 景点。
经过边缘检测后 , 虽然车道线检测出来 , 但是同时大量的 非车道线边缘信息也同样地保存了下来 , 为了得到车道线 , 还
需进一步的 处理非车道线标记点。
2. 2 改进的 Otsu 自适应阈值图像分割
Otsu [11]
在 1979年提出的 最大类间方差法 (也称大津方法 ) 一直被认为 是阈值自动选取的最优方法 , 其基本思想是 :在获 得图像灰度 直方图的条件下 , 利用概率论的知识 , 通过计算最 大类间 方差而得到分割门限。在较为 理想的 ! 双峰 ? 条件下 , 用 Ostu 准则能够取得较好的分割效果。在公路图像中 , 由于天 空、 周围环境因素 的影响以及车道线存在明显污迹下 , 直接使 用 Otsu 往往不 能保证车道标志线能有效地划 分。
针对行车特点 , 一般地说 , 智能车获取的车道图底部中 央是不包含车道的路面 , 而路面也正是被处理为背景的 , 那 么图像分割的阈值需要大于此值。基于以上分析 , 提出一 种简单且有效的 Otsu 改进算法。假定图像分为两类 , 一类 是包含车道线的前景 , 另一类为背景。设图像 f (x, y) 包含 L 个灰度级 , 改进的 Otsu 算法步骤如下 :
1) 采用传统 Otsu 方法使类间方差 B 满足
2B (k *) =max 1<>
B
(k) (3)
的图像灰度阈值 k *, 即图像分为前景和背景的阈值。 2) 参考阈值计算 , 在图像中取视频底部中央 1/3、 高为 60象素块 B lk(x, y) , 求得该块的灰度均值 m =m ean (Bl k
(x, y)) , 则 th _set =w *
m, 其中 w #[1, 2]为输入控制参数 , 默认时取 1. 2;
3) 比较 k *和 th _set, 当 k *
4) 分割图像 , 如果图像在 (x, y ) 处的灰度值 f (x, y )
实验结果如图 1所示。从实验结果可以看出 :传统的
Otsu 方法在车道与路面线对比度不大的情况下 , 就可能将 车道线误判为背景 ; 而改进算法能有效地将车道 线分割
图 1 车道线分割 F ig. 1 Lane seg mentation
出来。
2. 3 车道线扫描及拟合
改进的 Otsu 方法有效地将包含车道线的前景分割出来 , 从图 1可看出 , 它并不强调边缘的存在 , 但是突显车道线以及 灰度较一致的区域较亮的部分 (如天空 ) , 而边缘检测得到的是 包含车道线双侧边缘的边缘图像 , 也即只 在灰度不连续的地方 有定义。因此 , 如果将这两者包含 交集车道线在内的图像进行 融合 , 就 可获得只包含车道线的车道线图像。但是 , 由于干扰 的存在 , 使得检测结果中仍有少量的非车道线点存在 , 这些点 车辆和周边防护栏等 , 且为数不多 , 离车道线点较远。文献 [12]假定所检车道 线图像底部部分不存在干扰点 , 让这些点作 为种子点 , 采用区域生长方 法得到剩余部分车道线。但是该方 法不仅耗时 , 且由于光照变 化得到的车道线生长不完全。为了 有效性去除这些干扰点 , 提出 了迭代最小二乘方法拟合车道标 志点。同时 , 假设只检测智能车所在车道的两边的车道线 , 所 用车道模型沿用直线 模型。以左车道线为例 , 迭代最小二乘法 剔除非车道线标记点的 步骤如下 :
1) 车道线点集对 {xl (i),y l (i)},i =1, ? , m 进行一阶最小 , ^k 、 ^b e l ;
1835 第 12期 刘献如等 :结构化道路车道线的鲁棒检测与跟踪
2) 将 {x
l
(i)}代入由第 1步得到拟合参数方程 , 计算其拟 合值 {y^l (j)};
3) 计算拟合值与检测点实际值绝对差 , 当 |y
l
(i)-y ^l (i) |
%p _th, 则 [x l (i),y l (i)]#lef t _lane, 否则 [x l (i),y l (
i)]lef t _
lane, 并予以 剔除 , 其中 p _th 为一设定的较小像素阈值 , lef t _ lane 为左车道线标 记点集合 ;
4) 对 lef t _lane 中车道线标记点集重新进行最小二乘拟 合 , 重新 计算其拟合参数 k l 、 b l 和拟合误差 e l , 如果 &e l &? , {x l (i),y l (i) }=lef t _lane, 转至第 2步 , 否则停止 ;
5) 存储 k
l
、 b l 。
同样的方法可以实现右车道 线标记点集 right _lane 。一般 地 , 相对 于车道线标记点 , 干扰点占有较少的比例 , 经过两次迭 代 , 基本 上能将非车道线点能去除 , 得到最后参数即为此时车 道线的模型参数 , 可用于后续的车道线跟 踪预测。
3 UKF 及其车道线跟踪
虽然车道线的参数、 位置和方向可以 由车道线检测算法得 到 , 但是 , 车道 线跟踪模块引入可提高车道线检测的速度 , 也即 找出下一帧中感兴趣区域 , 减少车道 线搜索时间。将车道线跟 踪问题视为一系统 , 系统的状态是包含车 道线模型参数以及其 他参数的向量 , 对该系统状态进行滤波估计 , 可得到车道线在 下一帧中的预测位置和方向 , 并通过下一帧的观测予以校正 , 不但可减少检测的时间 , 而且还可提高检测率。因此 , 引入滤 波性能优秀的 UKF 进行滤波估计。
3. 1 UKF 基本思想及其建 模
在 ! 近似任意非线性函数的概率分布 比近似非线性函数更 容易 ? 的思想指导下 , Simon 等人 [13]提出了基于 unsce nted 变换 (UT) 的卡尔曼滤 波 , 即 UKF 。 在确保随机向量均值和协方差 不变的前提下 , 选择一组 Sigma 样点集 , 每个 Sigma 点通过非 线性变换 , 即 UT 。 由变换后样点的统计量估计随机向量通过 非线性变换后的均值及方差 , 避免了线性化所带来的误差 , 且 不需要计算非线性方程的 Jacobi 矩阵 , 比 EKF(extended Kal man filte r) 类算法具有 更好的稳定性 [14]。 UKF 的滤波性与 PF 的滤波性能基本上一样 , 但是 UKF 的计算开销远小于 PF [15]。 因此 , 对于要求实时性较强的车道线采用 UKF 滤波算法进行 跟踪。
由于结构化道路的特点 , 故车道线跟踪存在一定的特殊 性。其一 , 车道线近似直线特性 , 若用 y =kx +b 来表示车道 线 , 则左 右车道线直线的斜率 k 和纵 截距 b 在相邻帧中变化较 小 ; 其二 , 当前 帧中车道线总会在下帧部分的存在 , 车道线底部 的标志肯定会消失了 , 而其最远点一 定不会消失于下一帧。基 于上述特点 , 我们取车道线的 k 和 b 以及其颜色平均值 G th 作 为控制参数 , 则跟踪系统的状态可表示为 x(t)=(k, b, G th ) T , 采 用 UKF 滤波的车道 线跟踪模型为
X (k)=AX (k-1) +Bw t
Y(k) =C X (k)+DV t
(4) 其中 :A 是 3(3单位阵 ;
B =[t t 0]T ; C
1
1]T ; w
t
和 v t 分别为状态转移与观 测模型的高斯白噪声。 3. 2 UKF 及其车道 线跟踪
U KF 算法中的 U T 是其算法的 核心 , 也是 实现对非 线性进行 状态 估计 的重 要手段。尺 度 U T 的 SU KF 比 U KF 具有更好 的滤 波性能 [16], 因此 采用 SU KF 算 法对 状态空间进行滤波 估计。假设 L 维状 态向量 X 在 k -1时刻的状态均值和方差为 X k -1和 P k -1, SU KF 估计具体 实现过程如下 :
1) 初 始化均值和方 差 , X 0=E[X 0], P 0=E(X 0- X )(X 0- X 0) T , 以及扩充向量的均值和方差 X a 0=E[X a ]= [X T 0 0 0]、 P a 0=E(X 0- X 0) (X 0- X 0) T 。 然后计算 Sigm a 点 a k-1=[ X a k-1 X a k-1) k -1]。 其中 :X a =[X T , v T , n T ]; a =[(x ) T , (v ) T , (n ) T ]T ; ! 尺度参数 ; L 增量状 态维数 ; P v 状态转移噪声协方差 ; P n 是观测噪声。
2) 将所得到 S igma 点代入式 (4) 计算其传播值 x k |k -1和 观测值 y k |k -1, 其时间更新方程为
X -
k
=? 2L i =0w m i x i, k|k-1
P -k =? 2L i =0w c i [x i, k|k-1-x -k ][x i, k |k-1-x -k ][x i, k |k-1-x k ] y -k =? 2L i =0w m i y x i, k|k -1
(5)
其中 :w 0=! /! +L ; w m i =1/2(! +L ) ; w c 0=! /! +L +(1-? 2 +#); w c i =w m i 。
3) 观测更新方程
P ! y k , ! y k =? 2L i =0w (c)i [y i, k|k-1-! y -k ][y i, k|k-1-! y -k ]T
P x k , y k =? 2L i =0w (c)i [x i, k|k -1-! y -k ][x i, k|k -1-! y -k ]T
? =P x k , y k y k , y k
(6)
x k =x k +? (yk -y -k )
P k =P -k -? P y k , y k ? T
(7) 其中式 (6) 的 3式分别为计算方差、 协方差和滤波增益 , 则 式 (7) 为最后的状态向量均值和方差。
经过式 (7) 得到下一帧中车道线可能的位置。实际处 理时 , 在各候选车道标志点左右一定的区域认为是感兴趣 区域 , 并在此区域内搜索与 G th 相近的像素点 , 进行相应的 标志 , 从而得到当前帧中车道线的位置。最后 , 将所得到点 进行一次最小二乘拟合 , 用于更新车道线模型。
4 实验结果与分析
为了验证算法有效 性 , 对 智能车在城际高速公路上所采集 的多段视频进行了仿真实验 , 所用微机 CPU 为 2. 95GHz, 内 存为 1. 96G 、 双 核 , 编 程语言为 Ma tlab 和 C++。
图像传感器置于智 能车辆挡风玻璃的正前方 , 所获取的视 频参数如下 :采集速率 25frame/s, 图像格式为 bmp, 大小为 192(240。图 2的视频来 源于某城际高速公路 , 其中第 1帧为 检测帧 , 其左侧有白色越野车干扰 , 车道线检测用红线进行标 记 , 可看出 , 本文提出的方法具有较好的鲁棒性。后续三帧为 , ,
1836
光 电 子 激 光 2010年 第 21卷
好地实现对车道两旁车道线的检 测与跟踪。
为了验证算法的通用性 , 对某城市内 一段公路的车道线视 频进行了检测与跟踪实验 , 实验结果如图 3所示 , 图中车道线 与路面光照对比度不高 , 且车道线被严重弄污。从图可看出 , 本文提出的算法对于该类结构化道路也体现出较好检测与跟
踪效果。
图 2 高速公路车道线检测与跟踪结果 F ig. 2 Lane detection and tra cking result for highwa
y
图 3 城市公路车道线检测与跟踪结果 Fig. 3 Lane d etectio n a nd tracking result for city roa d
最后 , 对洁净的高速公路和城市公路 车道线的检测率进行
了测试。计算方法如下 :取视频中的连续 100帧 , 采用本文方 法检测自行车道两侧车道线 , 只要发现一侧车道线出现了偏 离 , 则认 为检测失败。实验结果见表 1。以 25frame/s 的数据 采集率 , 高速公路跟踪基本能满足智能车 依据车道线进行导航 的要求。对于城市公路 , 由于其污染较重 , 无疑会增加拟合迭 代次数 , 跟踪时间也会相应的增加了 , 准确率也有所下降。误 检主要发生图像出现抖动较为厉 害的时候 , 也即车道线模型参 数变化较大的时候 , 而这种抖动主要是由 于地面不平坦导致智 能车产生剧烈振动。
表 1 高速与城市公路车道线检测与跟踪比较 T ab. 1 Lane detection and tra cking co mparison
betw een highw ay and city roa d
Detection time /s fram e -1T racking time /s frame -1
Accu rate rate
/%
th
w
H ighw ay 0. 150. 03599151. 8
City r oad
0. 26
0. 051
91
5
1. 2
5 结 论
基于视觉的车道线检测与跟踪识别是智能车辆导航系统
中至为关键的一部分。针对复杂环境中车道线检测感兴趣区 域难以选取的问题 , 提出了采用简化的 Sobel 边缘检测与改进 的 代最小二乘方法拟合标志点 , 获取车道线模型参数 ; 最后引入 SUKF 算法进行后续帧实现车道线的跟踪识别。将方法应用 于高速公路和城市一般 公路的车道线检测与跟踪 , 均取得了较 好跟踪效果 , 并具有较好鲁棒 性和实时性。
对于由于剧烈振动 引起的车道线跟踪问题有两种方案 :一 种是去抖动法后再检测 ; 另一 种是通过当前滤波后检测结果与 先前帧进行比较 , 如若连续出 现较大偏差 , 为了保险起见 , 这时 应启动车道线检测系 统 , 重 新计算模型参数和车道线特征。另 外 , 对于车道线曲率较大时车 道线研究可采用样条函数进行处 理。在下一步的 研究中 , 将重点研究多模型车道线的跟踪与识 别问题。
参考文献 :
[1] Mc Call J C , T rivedi M M . Video based lane estim ation and
tracking for driver ass istan ce:s urvey, system , an d evaluation [J ].IE EE T rans. Intelligent T ransportation System , 2006, 7(1) :20 37.
[2] Jin Wook Lee, Jae Soo C ho. Effective lane detec tion and
tracking m ethod using statis tical m odeling of color and lane edge orientation[C].Fourth Intern ational Conference on Com puter Sciences and C onvergence Inform ation T echnology [C].2009. 1586 1591.
[3] Sin Yu Ch en , J un Wei H s ieh . E dge based lane ch an ge detection
d [
1837 第 12期 刘献如等 :结构化道路车道线的鲁棒检测与跟踪
T hird International C onference on Intelligent I nform ation H idin g and M ultim edia Sign al Processing[C ].2007, 2:415 418. [4] R uyi J iang, R ein hard Klette, T obi Vaudrey, et al. N ew lane m odel and distance transform for lan e detection and trackin g [A].Proc eedings of the 13th International Conferenc e on C om puter Analys is of Im ages and Patterns[C].M un ster, G erm an y, 2009. 1044 1052.
[5] Yue Wang, Eam Kh wang T eoh, D inggang Sh en . Lane detection and tracking us ing B Snake[J].Im age and Vision Com puting, 2004, 22(4) :269 280.
[6] M elo J, N aftel A, Bernardino A, et al. D etection an d clas sifica tion of highway lanes using vehicle m otion trajectories [J ].IE EE T ransactions on Intelligent T ransportation Sys tem s , 2006, 7 (2) :188 200.
[7] Kin g H ann Lim , Kah Phooi Seng, Li M inn Ang, et al. Lane de tec tion and Kalm an based linear parabolic lane tracking[A]. International Conference on I ntelligent H um an Machin e Sys tem s and C ybern etics [C ].Han g zhou, Ch ian 2009, 2:351 354. [8] XIAN G ui ying, Askar Ham dulla, YU Wei jun . A particle filter and data as sociation m ethod for tracking of m ulti targets[J]. J ou rnal of Optoelectronics Laser, 2009, 20(2) :244 247. 向桂英 , 艾斯卡尔 艾木都拉 , 于伟俊 . 基于粒子滤波和数据 关联的多目标跟踪算 法 [J].光电子 激光 , 2009, 20(2) : 244 247.
[9] R adu D anescu , Sergiu N edevsc hi. Probabilistic lane tracking in difficult road scenarios using stereovision[J].IEE E T rans ac tions on Intelligen t T ransportation System s, 2009, 10(2) :272 282.
[10]HUZhao hua, SON G Yao liang, LIAN G De qun , et al. A particle filter based tracking algorithm with cue fus ion un der com plex
backgrou nd[J]. Journal of Optoelectron ics Laser, 2008, 19 (5) :680 685.
胡昭华 , 宋耀良 , 梁德群 . 复杂背景下多信息融合的粒子滤波 跟踪算法 [J].光电子 激光 , 2008, 19(5) :680 685.
[11]Ots u N . A threshold selection m eth od fromgray level histogram [J].IEEE T ran sactions on System s, M an and C ybernetic s, 1979, 9(1) :62 66.
[12]GU AN Xin , JIA Xin , G AO Zhen h ai. Adaptive thres hold algo rithm based on contrast regional hom ogeneity an alysis of lane im age[J].Journal of Jilin U niversity, 2008, 38(4) :758 763. 管欣 , 贾鑫 , 高振海 . 基于道路图像对比度 区域均匀性图分 析的自适应阈值算法 [J].吉林大学学报 , 2008, 38(4) :758 763.
[13]Sim on Julier, J effrey U hlm ann, H ugh F D urrant Whyte. A new m ethod for the nonlinear trans form ation of m eans and covari ance in filters and es tim ators[J].IEEE T rans. on Autom atic Control, 2000, 45(3) :477 482.
[14]Fred D ai M . N on linear filters beyond the Kalm an filter[J].IEEE A&E Sys tem M agazine, 2005, 20(8) :57 69.
[15]M ihaylova L, Boel R , H egyi. An u nscented Kalm an filter for freeway traffic estim ation[A]. Proceedings of 11I FAC Sym posiu m on C on trol in T rans portation System s[C].2006, 11: 31 36.
[16]Julier S J. T he Scaled U n scented T rans form ation[A]. In Pro ceeding of the Am erican Control C onference [C].2002, 6: 4555 4559.
作者简介 :
刘献如 (1977-) , 女 , 湖南娄底人 , 博士研究生 , 主要研究领域为计算机 视觉、 视频跟踪等 ?
1838
光 电 子 激 光 2010年 第 21卷
范文四:非结构化道路识别方法研究
非结构化道路识别方法研究
摘 要:本文首先介绍了什么是结构化道路什么是非结构化道路, 然后主要 介绍目前较为常用的三种非结构化道路的识别方法, 即基于道路特征的方法、 基 于道路模型的方法和基于神经网络的方法。 以及在各自方法中已经实现的具体的 一些算法的思想,最后总结了三种方法的优缺点。
关键字:非结构化道路 ; 道路识别 ; 道路特征 ; 道路模型 ; 神经网络
Abstract: this paper first introduced the what is structured way what is structured road, then this article introduces the more commonly used three kinds of unstructured road identification method, which based on the method of road features, based on the method of road model based on the method of neural network. And in their respective methods have been realized some of the algorithm of the specific ideas, finally summarized the advantages and disadvantages of the three methods.
Key word: unstructured road; Road identification; Road features; Road model; Neural network
引言
自主驾驶是目前研究的一个热点, 而道路识别是自主驾驶系统中的一个重要 组成部分, 一些车辆行驶在路况极为恶劣的乡间道路或无路的野外环境下。 野外 环境复杂度较高,地表粗糙而又崎岖不平,对车辆的通过性构成了潜在的威胁。 要使车辆在野外环境下实现自主驾驶, 就需要对非结构道路进行识别。 道路检测 的成功与否决定了车辆能否正确识别当前的道路环境。 因而, 道路检测是自主驾 驶车辆的关键技术之一。
1 结构化道路和非结构化道路
结构化道路一般是指高速公路和部分结构化较好的公路, 这类道路具有清晰 的车道线和道路边界, 车道线一般为白色或黄色的连续线或短划线, 非结构化道 路一般指结构化程度较低的道路,例如城市交通道路、乡村道路等。
在车辆自主驾驶系统中, 道路识别是非常重要的, 目前结构化道路识别技术 已日趋成熟,而非结构化道路识别相对结构化道路检测已成为研究热点,因此, 研究非结构化道路的识别问题具有极其重要的现实意义。
2 常用的非机构化道路的识别方法
非结构化道路没有车道线和清晰的道路边界, 道路的形状多种多样, 路面的 等级较低, 道路周边的环境复杂, 使得道路区域和非道路区域的区分有很大难度。 再者, 高光、 相互反射等问题在非结构化道路中仍然存在, 这就使得非结构化道 路检测技术研究面临很大的困难。 目前, 针对非结构化道路的道路检测技术尚处 于研究阶段 [1] [2]。
目前来说, 针对非结构化道路的检测算法主要有三种:基于道路特征的方法、 基于道路模型的方法和基于神经网络的方法。
2.1基于道路特征的方法
基于道路特征的方法主要包括基于区域特征的方法和基于边缘特征的方法。 前者是通过道路区域和背景区域像素点之间色彩、纹理、亮度等的差异来划分。 一般对非结构化道路采用这种算法比较好。 后者基于边缘特征的方法是通过路面 和非路面之间的特征突变来寻找道路边缘,再通过道路边缘识别识别道路区域, 但对于非结构化道路的边缘不够清晰的情况下此种算法不适用, 针对于此, 将区
范文五:汽车在非结构化道路中的偏离检测
目 录
第 1章 绪论 ........................................................ 1 1.1 研究意义 ................................................... 1 1.2 国内外发展现状 ............................................. 1 1.3 研究的关键技术 ............................................. 2 1.3.1 图像的获取 ........................................... 2 1.3.2 图像的处理 ........................................... 2 1.3.3 预警系统 ............................................. 3 1.4 主要研究内容 ............................................... 3 1.4.1 摄像头的相关参数 ..................................... 3 1.4.2 图像的处理 ........................................... 3 1.4.2.1图像分割 ....................................... 3 1.4.2.2滤波处理 ....................................... 3 1.4.2.3边缘检测 ....................................... 3 1.4.2.4 膨胀与腐蚀处理 ................................ 3 1.4.2.5 车道标志线识别与跟踪 .......................... 3 1.4.3 预警系统 ............................................. 4 1.4.4 建模与仿真 ........................................... 4 第 2章 系统介绍 .................................................... 5 2.1 设计思路 ................................................... 5 2.2 非结构化道路的理解 ......................................... 5 第 3章 图像收集与预处理 ............................................ 6 3.1图像的收集 .................................................. 6 3.2 图像的灰度化 ............................................... 6 3.3图像的灰度值调整 ............................................ 6 3.4 噪声消除 ................................................... 7 3.4.1 中值滤波 ............................................. 8 3.4.2 高斯滤波 ............................................. 9 3.4.3两种滤波的比较 ....................................... 11 第 4章 图像处理 ................................................... 12 4.1 图像分割 .................................................. 12 4.1.1 图像分割的作用 ...................................... 12
4.1.2 图像分割的定义 ...................................... 12 4.1.3 图像分割的方法 ...................................... 12 4.1.3.1 阀值分割法 ................................... 13 4.1.3.2 边缘检测 ..................................... 13 4.1.3.3 区域分割法 ................................... 15 4.2 形态学修正 ................................................ 15 4.2.1 膨胀 ................................................ 15 4.2.2 腐蚀 ................................................ 15 4.2.3 开运算 .............................................. 15 4.2.4 闭运算 .............................................. 16 4.3 边缘检测 .................................................. 16 4.3.1 灰度梯度算子 ........................................ 16 4.3.2 Roberts算子 ......................................... 16 4.3.3 Sobel算子 ........................................... 17 4.3.4 Laplace算子 ......................................... 19 4.3.5 几种算子的比较和选择 ................................ 20 4.4 Hough变换 ................................................. 21 第 5章 判断是否偏离并预警 ......................... 错误!未定义书签。 5.1 各种道路情况的讨论 ........................ 错误!未定义书签。
5.2 判断是否发生偏移并预警 .................... 错误!未定义书签。 5.3 基于 simulink 的仿真 ....................................... 22 5.4 另一条道路的实验结果 ...................................... 22 总结 .............................................................. 24 致谢 .............................................................. 25 参考文献 .......................................................... 26
第 1章 绪论
1.1 研究意义
从 1886年德国著名的戴姆勒-奔驰汽车公司的创始人:卡尔 ·弗里特立奇 ·本茨造 出世界上第一辆汽车到现在, 汽车在改变这个世界, 改变我们的生活。 汽车给我们带 来了很大便利的同时也带来了很大的烦恼。 空气污染, 噪声污染, 能源的紧缺等很多 的问题,可是最烦恼的问题还是生命的问题,就是车祸的问题。根据有关报道:2012年末中国的民用汽车保有量已经达到 12089万辆。 中国是世界上第二大汽车保有量国 家。 越来越多的汽车走进普通人家的家庭。 汽车已经是现代社会中人们工作、 生活不 可缺少的一部分。 随着汽车的增多, 车祸也越来越多。 中国是世界上车祸死亡人数最 多的国家,根据国家官方数字统计有:2011年全国共接报涉及人员伤亡的道路交通 事故 210812起, 共造成 62387人死亡。 我国每年都超过 10万人在车祸中伤亡。 车祸 给人们带来很大的伤亡和财产损失。
在众多的交通事故中, 因为汽车偏离车道而发生车祸的概率很大。 根据相关的调 查在发生有人员伤亡的车祸中将近有一半的车祸与汽车偏离车道有关。 在平时开车时 候受到侧风、 爆胎等影响时候汽车可能会发生侧翻。 而在侧翻车祸中车道偏离是最主 要的原因。 每年车祸中有很大一部分车祸是由于驾驶员疲劳驾驶和酒驾所造成的。 驾 驶员的疲劳驾驶和酒驾都很容易造成汽车无意识的车道偏离, 是汽车安全行驶中最大 的隐患。 所以车道偏离系统的存在将减少很多车祸的发生, 减少不必要的人员和财产 损失。
而且随着技术的发展和人们对于驾驶安全性和舒适性要求的不断提高。 无人驾驶 系统和辅助驾驶系统在汽车中应用越来越广泛。 汽车的偏移检测也是汽车辅助系统的 一个重要发展方向。
车道偏离预警系统是一种通过报警的方式辅助驾驶员减少汽车因车道偏离而发 生交通事故的系统。 很多事故的发生是因为驾驶员疲劳后无意识偏移而发生事故, 所 以如果偏移检测系统在这时候向驾驶人员发出预警就可以大大降低事故的发生率。 该 系统是辅助驾驶系统, 在减少驾驶人员因为疲劳驾驶而使汽车因车道偏离而发生交通 事故的同时也可以降低驾驶员实时的关注汽车是否偏离的频率, 还降低了驾驶员的驾 驶疲劳。大大的提高了汽车的主动安全性。
1.2 国内外发展现状
车辆辅助驾驶和无人驾驶系统不断的发展。无论是现在汽车中的 ACC 主动巡航 系统还是自动刹车系统等辅助系统, 处理的都是车辆行驶时纵向上的问题, 而当车辆 发生横向上的位移时, 它们是无能为力的。 不过目前汽车厂商和一些技术厂商已经研
发出可以部分解决横向位移的配置 ——— 车道偏移辅助系统。 目前各大汽车厂商都在 争相研发自己的车道偏离预警系统系统, 名称也不尽相同, 但是主体设计思想以及功 能都十分接近。 这种系统的作用就是在车辆偏离车道时, 传感器检测到车头前方两侧 的分道线发生了变化, 就会迅速判断这个变化是否来自于驾驶者的真实意愿。 如果驾 驶者打开转向灯, 正常进行变线行驶, 那么系统不会做出任何提示。 而如果驾驶者既 没有打开转向灯,也没有主动减速、转动方向盘,那么系统就会使用视觉、听觉甚至 振动方向盘来提醒驾驶者潜在的危险, 但提醒不会直接影响到车辆的行驶状态, 这显 然和未来的自动驾驶有些差距。而现在汽车厂商在这方面又向未来的标准靠近了一 步。 在对车辆控制介入程度更高的系统当中, 车道偏离预警系统就被称为车道保持辅 助系统,它能够暂时接管并控制车辆主动驶回原车道。
国外车道偏离预警系统有 :1、 AURORA 系统; 2、 AutoVue 系统; 3、 Mobileye_AWS系统; 4、 Driver Support System系统。
国内车道偏离预警系统有:1、 Jluva-1系统; 2、基于 DSP 技术的嵌入式车道偏 离报警系统。
车道偏移系统对于应用环境有着比较高的要求, 比如行车速度、 路面宽度以及分 道线的清晰程度,所以在我国恐怕只有路况较好的高速公路上才有施展才能的机会, 而对于山道省道或者路况较差的非结构化道路面来说,这套系统恐怕也鞭长莫及了。 同时如果因为雨雪及大雾天气造成路面被覆盖或者辨识度不高时, 该系统也无法进行 正常工作。 在由于非结构化道路的道路区域和非道路区域难以区分, 所以针对非结构 化道路的道路检测技术尚处于研究阶段。
1.3 研究的关键技术
1.3.1 图像的获取
在现在的汽车辅助驾驶中, 为了解决驾驶员的盲区所带来的危险, 包括前置摄像 头、 后置摄像头及全景摄像头应用越来越多。 例如车辆中的泊车系统和倒车系统都用 到摄像头。 在偏移检测中, 摄像头是关键的部件之一。 摄像头将汽车前方的实时道路 通过拍照,然后向车载计算机系统。
1.3.2 图像的处理
图像的处理是偏移检测的关键, 由摄像头上传的图片要在车载计算机中进行一系 列的处理。图像先后要经过分割,滤波处理,边缘检测,膨胀与腐蚀处理 hough 变换 后才能得到道路的边缘线。
1.3.3 预警系统
根据图片处理后得到的道路边缘线, 计算出车道的中间线, 再根据汽车中部和中 间线相差的距离而向驾驶员发出预警。
1.4 主要研究内容
1.4.1 摄像头的相关参数
在摄像头相关参数中包括摄像头的内参、 外参。 内参即为摄像头的性能参数, 他 包括分辨率,刷新速度,开度角,扫描范围。外参指摄像头在安装参数和相关的汽车 参数。
1.4.2 图像的处理
图像处理图像先后要经过分割,滤波处理,边缘检测,膨胀与腐蚀处理 hough 变换后才能得到道路的中间线。
1.4.2.1图像分割
为了有效地进行图像描述和分析,往往需要先将图像划分成若干个有意义的区 域。 图像分割在图像处理、 分析和理解中是十分重要的技术环节, 图像分割的质量的 优劣直接影响到后续的区域描述以及图像的分析和理解。
1.4.2.2滤波处理
由于环境等各方面条件的影响, 经过分割的图像还有很多的噪音, 想得到比较清 晰的图像并不是很容易的事, 为了得到清晰的图像要设计一个适合、 匹配的滤波器和 恰当的阀值。
1.4.2.3边缘检测
非结构化道路没有车道线和清晰的道路边界, 道路形状不规则, 没有明确的边缘, 光照、天气、景物复杂多变,但是经过分割和滤波后的图像,再用 laplace 算子边界 检测出边界。
1.4.2.4 膨胀与腐蚀处理
图像在经过滤波和边缘检测后,仍存在一些噪音,为了使后续的处理更加容易, 减少车道标志线在检测过程中受噪声的干扰, matlab 图像处理采用了先膨胀后腐蚀的 处理过程来消除遗留噪音。
1.4.2.5 车道标志线识别与跟踪
利用 hough 变换将原始图像中给定形状的曲线或直线变换成参数空间里的一个 点,然后把这些点整合成车道标志线。
1.4.3 预警系统
当车身偏移超过剩下宽度的 30%时候, 系统向驾驶人员发出预警, 提醒驾驶人员 及时修正汽车行驶方向,以减少不必要的危险发生。
1.4.4 建模与仿真
通过编写相关程序对非结构道路数字图像处理, 和以 simulink 为基础的视频和图 像处理模块集对系统进行仿真。
第 2章 系统介绍
2.1 设计思路
根据调查统计, 约有 44%的汽车事故与汽车偏离车道行驶有关, 主要原因是驾驶 员注意力不集中或者疲劳驾驶而造成汽车的无意识偏离。 而偏移检测系统正好可以在 驾驶员疲劳注意力不集中时候给驾驶员发出预警以避免交通事故的发生。 一定程度下 可以降低驾驶员的疲劳。
该系统基于 Matlab 的数字图像处理。主要对汽车在非结构化道路中行驶时的偏 离检测。 系统通过摄像头对前方道路进行实时拍照, 然后把拍到的数字图像上传到车 载计算机系统, 通过对图像的处理检测出两侧道路, 再通过计算知道汽车是否发生偏 离而发出预警。
系统工作流程图:
2.2 非结构化道路的理解
实际的道路往往可以分为结构化道路和非结构化道路两类。 结构化道路一般是指 高速公路和部分结构化好的道路, 这类道路具有清晰的车道线或道路边界, 道路条件
比较好。 而非结构道路一般是指越野环境道路、 乡村道路或者一些结构化较低的道路 等。这类道路没有车道线和清晰的道路边界,道路形状不规则,没有明确的边缘,光 照、
天气、 景物复杂多变, 道路区域和非道路区域难于区分。
由于非结构道路的特性, 所以对非结构道路的检测最好是对道路的边缘进行检测。
但是道路的边缘的景物、 特
点一直是变化的,
给检测带来很多的麻烦。 相对于结构化道路, 非结构化道路的检测 很难。
第 3章 图像收集与预处理
3.1图像的收集
该系统的图像通过安装在汽车后视镜上的摄像头进行收集。 摄像头以一定的参数 安装在驾驶员右上方的后视镜前面。 摄像头能清楚地记录汽车前方所发生的一切。 当 汽车在道路上行驶时候, 摄像头按照一定的拍照频率对汽车前方的道路进行拍照, 并 把拍下来的数字图像上传到系统的车载计算机。
3.2 图像的灰度化
把彩色的图像转化成灰度图像的过程就是图像的灰度化。 彩色图像的每一个像素 点都由三个分量来决定, 而灰度图像的像素点是由一个分量来决定, 相对于彩色图像, 灰度图像和二值图像更有利于图像的后期处理, 灰度图像在后期处理中的计算量将大 大的减少。 因为系统从摄像头中得到的图像是彩色图像, 所以在对图像进行处理之前 要把彩色图片转化成灰色图片。
Matlab 中源程序为:
a=imread('11.jpg');
b=rgb2gray(a);
subplot(1,2,1),subimage(a)
subplot(1,2,2),subimage(b)
图 3.1图 3.2
上图 3.1为摄像头拍下来的彩色图像,图 3.2为灰度图像。彩色经过处理后转变 为只由黑白两种颜色组成, 转化后的图像就特征没有任何的影响。 灰度图像的每个像 素点还是用三个分量来表示,只是为后续的处理减少计算量而已。
3.3图像的灰度值调整
灰度化后的图像虽然为后期处理减少了计算量, 但是每个像素点分量范围的减少 影响到了图像之间的对比, 很多图像的对比程度较低不利于后期处理, 所以需要对图 像的对比度增强或者均衡化。
图 3.3
图 3.4
上图 3.3、 3.4为灰度化图像的直方图和均衡后的直方图,由此图 3.3可知灰度化后 的的数字图像的对比度相对之下还很低, 绝大多数灰度级集中在 20~125的范围内, 但 均衡化后图像的对比度有很大的提高。有利于图像后期的处理。
3.4 噪声消除
现实生活中的图像通常都带有噪声, 噪声主要分为两大类 ——
高斯噪声和脉冲噪
声。 高斯噪声是一种随机噪声, 最主要是因为电路中的电流和电压干扰所产生, 他不 带有图像的信息, 只会对图像造成影响。 脉冲噪声是一种不连续的噪声, 最主要是外 界的干扰所引起的。 脉冲噪声通常是突然的爆发然后在短时间内消失, 一般是由振动 等原因所引起的。 在图像的收集时候收到噪声的影响是不可避免的, 我们不可能完全 消除噪声的存在, 只能通过其他的方法把图像中的噪声降低到最小, 减少对图像处理 的影响。 为了提高系统性能与准确性, 需要去除图像中的噪声成分, 以便于我们能提 取在更加清晰的信息。 图像增强是数字图像处理最基本方法之一。 在图像的处理中经 常会用到, 它是通过人为的增强图像中的某部分、 某个区域或者消除某部分、 某个区 域对图像中重要信息的影响, 以便有利于计算机或者一些识别系统能更加容易的读取 图像中的信息。
车辆在非结构化道路上运行时, 由于非结构化道路的路况较差, 汽车会发生很明 显的振动, 安装在汽车的摄像头会跟着汽车一起发生振动, 在加上光照等各方面的原 因的影响, 摄像头实时记录下的图像不可避免会含有很多噪声的成分。 其中既有高斯 噪声又有脉冲噪声。 但脉冲噪声远大于高斯噪声。 我们要将图像中的噪声有效的去除 即使对图像进行图像滤波。 图像滤波可分为空间域、 频域和小波域滤波。 最常用的空 间域去噪滤波器有线性滤波和非线性滤波两种。 线性滤波器主要有均值滤波、 线性加 权滤波、 倒数梯度加权滤波。 非线性的滤波器主要是中值滤波。 线性滤波主要用于消 除高斯噪声, 而中值滤波则用于消除脉冲噪声。 因为汽车在非结构化道路上行驶时候 脉冲噪声远大于高斯噪声。 所以系统选择中值滤波对摄像头上传来的数字图像进行去 噪处理。
3.4.1 中值滤波
close all;
clear all;
a=imread('11.jpg');
b=rgb2gray(a);
k1=medfilt2(b);
k2=medfilt2(b,[5,5]);
subplot(1,2,1),subimage(k1);
subplot(1,2,2),subimage(k2)
图 3.5
图 3.6
上图 3.5为 3x3中值滤波, 3.6为 5x5中值滤波,从图像中看不出他们之间的不 同, 但根据中值滤波的理论, 右图比左图滤波的效果更加的平滑。 即使两幅图像的后 期处理一样,得到的结果也会用很大的不同。 3.4.2 高斯滤波
高斯滤波源程序: close all clear all
%生成高斯平滑滤波模板
%
hg=zeros(3,3); %设定高斯平滑滤波模板的大小为 3*3
delta=0.5;
for x=1:1:3
for y=1:1:3
u=x-2;
v=y-2;
hg(x,y)=exp(-(u^2+v^2)/(2*pi*delta^2));
end
end
h=hg/sum(hg(:));
f = imread('1.jpg'); % 读入图像文件
f=rgb2gray(im2double(f));
[m,n]=size(f);
ftemp=zeros(m,n);
rowhigh=m-1;
colhigh=n-1;
%%%高斯滤波 %%%
for x=2:1:rowhigh-1
for y=2:1:colhigh-1
mod=[f(x-1,y-1) f(x-1,y) f(x-1,y+1); f(x,y-1) f(x,y) f(x,y+1);f(x+1,y-1) f(x+1,y) f(x+1,y+1)];
A=h.*mod;
ftemp(x,y)=sum(A(:));
end
end
f=ftemp
figure,imshow(f);
下图 3.7为高斯滤波加过图。
图 3.7
3.4.3两种滤波的比较
经过高斯滤波后的图像和中值滤波似乎没有什么不同, 但是后期的处理会有很大 的不同, 高斯滤波去除了摄像头和上传时候电子系统对图像所产生的噪声, 中值滤波 去除了图像中的脉冲噪声。
图 3.8 图 3.9 3.8图是经过高斯滤波后在经过 sobel 边缘检测的图像, 图 3.9是经过中值滤波后 同样进行 sobel 边缘检测的图像。从两幅图像就很容易的看出两种滤波对图像后期处 理的影响。 中值滤波已经把道路两边缘当成噪声给去除了, 提取后续提取边缘线有很 大的影响。
第 4章 图像处理
4.1 图像分割
4.1.1 图像分割的作用
图像分割是一种重要的图像技术, 也是一种基本的计算机视觉技术, 在实际中得 到了大量的应用。 数字图像就是由很多的特征和区域组成, 区域分割就是把这些区域 分割区分出来, 这种将一副图像分解为若干互补交叠的、 有意义、 具有相同性质的区 域,将图像表示为物理上有意义的连通区域的集合就是图像的分割 [1]。
图像分割其作用就是把反映物体真实情况的占据不同领域的具有不同特征的目 标区域给区分出来, 并形成数学特征。 在图像处理、 分析和理解中是十分重要的环节, 图像分割的质量的优劣、 区域界线定位的精度直接影响后续的区域描述以及图像的分 析和理解,所以图像分割至关重要。 4.1.2 图像分割的定义 [2]
图像分割可以形式化定义如下:令有序集合 R 表示图像区域(像点集),对 R 分 割是将 R 分成若干个满足下面 5个条件的有序非空子集 n R R R , , , 21 :
(1)、 (2)、 (3)、 (4)、 (5)、 i R 是连通区域 i ?
式中, 是对集合 中所有元素的逻辑谓词,即属性或特征均一性准则, φ是
空集。属于
条件(1)表示图像中任一个像点都某一子区域,即分割是彻底的;条件(2)表 示一个像点不能同时属于两个区域,即区域不能重叠;条件(3)表示区域内各像点 属性或特征是相近的; 条件 (4) 表示相邻的两个区域属性或特征是不同的; 条件 (5) 表示同一区域中的像点是连通的。 4.1.3 图像分割的方法
图像分割有很多的方法, 依据分割时候所依据的图像特性不同, 大致可以分为三 大类:阀值方法、边缘检测法、区域分割法。阀值分割法是根据图像的灰度值的分布 特性确定某个阀值来进行图像分割。边缘检测法首先检测出图像局部特征的不连续 性,然后再将不连续的边缘连成完整的边界。区域分割方法是利用图像的空间性质,
R
R i n
i ==1
j
i j i R R j
i
≠?=, , φ
i
TRUE R P i
?=, ) (相邻。
与 且 R R R R P j i FALSE j
i
j
i
, ) (≠= R P i
R i
认为分割出来的属性同一区域的像素应具有相似的性质。 4.1.3.1 阀值分割法
阀值法是一种传统的图像分割方法。 由于阀值处理直观、 实现简单且计算速度快, 因此图像阀值处理在图像分割应用中处于核心地位。 图像阀值化的目地是要按照灰度 级,对图像集合进行一个划分,得到的每个子集形成一个与现实景物相对应的区域, 使得各个区域内部具有一致的属性, 而相邻区域布局也有这样一致属性。 其基本原理 是确定某个阀值 T ,根据图像中每个像素的灰度值大于或者小于该阀值 T ,来进行图 像分割 【 3】 。
阀值方法的数学模型如下:
设原始图像为 ,首先以一定的准则 中找出一个灰度值 T 作为阀值,
将图像分割为两部分,即把大于等于该阀值的像素点的值置为 1,小于该阀值的像素
点的值置成 0. 在经过分割处理后的图像为二值图像 ,如下式表示:
(4-1) 根据上式可知,阀值方法的核心就是阀值 T 的确定,全局阀值 T 的选择直接影 响分割效果。
图 4.1 4.1.3.2 边缘检测
在图像中, 相邻的两个类型区域的分界线称为边界。 边界线是分隔物体与物体之 间的线。 现实中物体的不同棱角、 界线、 粗糙度、 阴影等原因对光的反射的程度不同, 在数字图像中都会以边界的形式表示出来, 特别是在灰度和二值图像中, 只有黑白两 种颜色,图像中的物体就是通过边界线清晰的表示出来的。为了检测出图像中物体,
) , (y x f ) , (y x f ) , (y x g ??
?
?
?<>
, (0)
, (1
) , (T y x f T y x f y x
g
很多时候就是检测物体的边界线, 通过检测物体的边缘线来识别物体, 但是经过预处 理后一些边缘可能会很容易显示出来, 可是有些边缘可能被消除掉。 影响到物体的识 别。
图 4.2
图 4.3
上图 4.2为 sobel 边缘分割, 4.3为 laplace 边缘分割。 根据处理的图像可看出 sobel 边缘右边缘已经消失,而 laplace 边缘分割后边缘还能清楚的看到。数字图像即使是 经过一样,用不同算子的边缘检测就会得出不同的结果。从以上三幅图像可以得知 laplace 边缘分割收到噪声的影响是最明显的。 图像中道路部分出现了很多的白点, 对 后续的处理有很大的影响。可是相对与 sobel 算子, laplace 边缘分割后道路两侧的边 缘线还存在。
4.1.3.3 区域分割法
区域分割法最常用的就是区域生长法。 区域生长法是根据预先定义好的的生长准 则将像素或子区域组合为更大的区域的过程。 基本方法就是先定义一组种子, 从定义 好的种子开始, 将与预先定义还的种子性质、 特性相似的那些领域像素添加到每个种 子上来而形成这些生长区域。
4.2 形态学修正
数学形态学是一门建立在数学理论上的科学。 是一种非线性图像处理与分析的理 论。数学形态学是由一组形态学的代数运算子组成的,他的基本运算有 4个:膨胀、 腐蚀、开启和闭合。 4.2.1 膨胀
假设 A 和 B 是 中的集合,那么 B 对 A 的膨胀 B A ⊕定义是 【 4】 :
(4-2) 这个公式是以 B 关于它的原点的映像,并且以 Z 对映像进行平移为基础的。上面的式 子还可以写成:
(4-3) 图像的膨胀其实就是就是用结构元素与图像中的元素做 “与” 运算。 结构元素就 是图像中的边缘元素,通过做“与”元算增强边缘,以增加边缘的连续性。 4.2.2 腐蚀
作为 中的集合 A 和 B ,表示为 B A Θ的 B 对 A 的腐蚀为 【 4】 :
(4-4)
该式指出 B 对 A 的腐蚀是一个用 z 平移的 B 包含在 A 中的所有的点 z 的集合。式子的另外 一种表达是:
(4-5) 其中 A c
是 A 的补集, φ是空集。
从式子可以看出膨胀和腐蚀都是对图像做“与”运算。不同的是结构元素,膨胀 是集合里的非 B 元素,而腐蚀是集合中的 B 元素。 4.2.3 开运算
开运算一般会平滑物体的轮廓、断开较窄的狭颈并消除细的突出物。
结构元 B 对集合 A 的开操作,表示为
, 其定义如下 【 4】 : (4-6)
因此, B 对 A 的开操作就是 B 对 A 的腐蚀,紧接着用 B 对结果进行膨胀。
Z 2
}|{) ^
(φ≠=⊕A z B A B z }]) ([|{^
A A B z B A z ?=⊕ Z 2
}) (|{A B z B A z ?=Θ}) (|{φ==ΘA
c
z B z B A B A B B A B A ⊕Θ=) (
4.2.4 闭运算
闭运算会平滑轮廓的一部分,但与开操作相反,它通常会弥合较窄的间断和 细长的沟壑,消除小的空间,填补轮廓中的断裂。用结构元 B 对集合 A 的闭操作,表 示为 B A ?, 定义如下 【 4】 :
(4-7)
B 对集合 A 的闭操作就是简单地用 B 对 A 膨胀,紧接着用 B 对结果进行腐蚀。
4.3 边缘检测
图像边缘是一种重要的视觉信息, 在日常生活中我们可以根据边缘很容易分辨出 不同的物件, 而在数字图像处理中计算机可以根据边缘来识别不同物件。 从而图像边 缘检测是图像处理、图像分析。模式识别、计算机视觉以及人类视觉的基本步骤。经 过预处理后的数字图像边缘会明显的很多, 且收到噪音影响变得较小。 这时候对图像 进行边缘检测所得到的结果较为准确和可靠, 对图像的后续处理和分析较为有利。 为 了得到更加准确和可靠的结果, 边缘检测一直在研究中, 实现边缘检测的方法也有很 多,经典的算子有:灰度梯度算子、 Roberts 算子、 sobel 算子、 Laplace 算子等。 4.3.1 灰度梯度算子
梯度算子又称为一阶微分算子, 图像的梯度函数既是函数灰度变化的速率, 它在 边缘处为局部极大值。 通过梯度算子估计图像灰度变化的方向, 增强图像中的灰度变 化区域,然后对增强的区域进一部判断边缘。
对图像进行微分运算后,每一个像素点都有一梯度值反映该点的边缘强度 [5]:
(4-8)
相应的幅值: (4-9)
相应的方向:
(4-10)
4.3.2 Roberts算子
灰度算子一般是用来检测水平和垂直边缘的, 因此灰度算子对水平和垂直的边缘 比较敏感。 Roberts 算子一般是用来检测 45度和 135度边缘。
(4-11)
B B A B A Θ⊕=?) (j y y x f i x y x f y x f ??+??=?)
, () , () , () ) , (()
) , ((2
2
|) , (|y y x f x
y x f y x f ????+=?][) , ()
, (() ) , ((tan 1
x
y x f y y x f y x ????-=θ|}) 1, () , 1(||,) 1, 1() , (max {||) , (|+-+++-=?y x f y x f y x f y x f y x f
所以灰度算子和 Roberts 算子可以根据图像边缘的特征来选择使用。
图 4.4
图 4.5 4.3.3 Sobel算子
sobel 算子对图像进行处理时候, 对图像中的任何一点都会产生对应的梯度矢量和 相应的法向矢量, sobel 算子另一种检测形式是各向同性 sobel 算子,它对图像边缘不 的检测也是检测图像水平和图像的垂直边缘。与普通的 sobel 算子相比较,各向同性 sobel 算子具有加权作用,所以对边缘的检测更加的准确。
(a ) (b )
上图(a )为 Sobel 算子垂直方向上模版, (b )为 Sobel 算子水平方向模版。 对于水平
方向模版有:
(4-12)
1
012
2101-----1210
121---|
)]1, 1() , 1(2) 1, 1([)]1, 1() , 1(2) 1, 1([|) , (1
+++++-+-
+-+-+--=y x f y x f y x f y x f y x f y x f y x g
如果 ,则认为当前中心像素点为垂直边缘上的点。对于垂直方向模版有:
(4-13)
如果有 , 则认为当前中心像素点为水平边缘的点。如果不考虑边缘的方向
(4-14)
则认为当前中心像素点为图像边缘上的点。 T 是门限值。
图 4.6
T g y x >) , (1
T g y x >) , (2
)]
1, 1() 1, (2) 1, 1([)]1, 1() 1, (2) 1, 1([|) , (2
-++-+---
++++++-=y x f y x f y x f y x f y x f y x f y x g
T g g y x y x y x s >+
=) , () , () , (2
1
图 4.7
图 4.8 4.3.4 Laplace算子
Laplace 算子是一种重要的边缘检测算子,灰度梯度算子是对图像一阶导数。 Laplace 算子是对图像二阶导。
(4-15)
用二阶差分方程表示为:
(4-16) Laplace 算子还可以用矩阵来表示,它有下图几个模版:
y x y x f y x f y x f ?????) , () , (2
22
) , () , (4) , 1() 1, () 1, () , 1() , (2
y
x f y x f y x f y x f y x f y x f -++++-+-=?
图 4.9
4.3.5 几种算子的比较和选择
图 4.4到图 4.9展示了几种边缘检测算子对图像边缘检测的结果。从图中我们可 以很容易看到这幅图像的 Roberts 算子检测相对其他几种道路的边缘是最完整的清晰 的,但同时路边的其他景物的边缘也很清晰。 Sobel 算子的垂直检测几乎看不到道路 的边缘, 水平检测中的边缘线也是断断续续, 而叠加后的效果同样很不明显, 道路两 边的其他景物的边缘一样不是很清楚。 Laplace 算子检测虽然很能显示出边缘线,但 是道路中间出现很多的小白点,说明 Laplace 算子对噪声很敏感,受噪声影响很大。
从 5.4小节的另一种道路实验图 5.9到图 5.13可以看出不一样的结果, Roberts 算子还是清晰的检测出边缘线。 Sobel 算子也能检测出边缘线。 Laplace 算子也能检测 出边缘线但噪声影响还是很大。 根据原图比较可知两张原图的光照强度差别很大。 给 边缘检测造成很大的影响。
从实验结果比较, Roberts 边缘效果是最好的。但其他景物的边缘也很清晰,后 续处理叫麻烦。而在光照条件好的条件下 sobel 同样很好,且 sobel 的相对计算量小, 且其他景物、噪声影响较均匀。所以大多数时候选择 sobel 算子检测。在一些特殊条 件可以选择其他几种算子进行检测。
几种算子都有自己的优点和缺点。 而且图像之前的任何一个处理都会对边缘的检 测造成不同的影响, 且每种次环境的变化而使拍摄时候都会引进不同的多种多样的噪
1
1
1
181111--------1
2
1
242121-----0
1
141010---
-
声, 所以算子的选择很关键。 可以把各种不同的状态加以讨论而使用不同的算子, 以 达到最好的边缘检测。
4.4 Hough变换
经过边缘检测处理后图像边缘出现了很多不相连的和很杂乱的白点。 为了得到非 结构道路的边缘线, 需要从这些杂乱的白点中提取出些点, 然后通过这些点整合出道 路边缘线。
Hough 变换是图像处理中从图像中识别几何形状的基本方法之一。一般物体平面 图像的轮廓可近似为直线及弧的组合, 因此, 对物体轮廓的检测与识别可以转化为对 这些基元的检测与提取。
Hough 变换是一种利用图像的全局特征将特定形状的边缘连接起来,形成连续平 滑边缘的一种方法。 它通过将源图像上的点映射到用于累加的参数空间, 实现对已知 解析式曲线的识别。 Hough 变换是利用点与线的对偶性,将原始图像空间的给定的曲 线通过曲线表达式变为参数空间的一个点。
Hough 变换的定义 【 6】 :设图像中有一条直线, 要求出这条直线在坐标系中的位置。 在坐标系里任何一条直线都会经过坐标系的一个点, 而对于这和点来说, 经过这个点 的有无数条直线。 假设在坐标系 O-XY 坐标系中有一条直线, 用方程表示为 。 其中 k 和 b 是参数,分别是方程的斜率和截距。在直线 b kx y +=中有无数个点,这些 点在他们相应的参数坐标系中都可以用无数的直线方程来表示。 但表示每个点的直线 在在坐标系 O-XY 中都会交于一点(k , b ) 。 Hough 变换就是检测图像中坐标系里的一 些点, 根据这些点的交点而求出相应的直线方程, 即把原来数字图像平面中的一些特 殊的点通过变换转成相应的参数平面坐标系中的线, 最后通过统计得到直线的参数 k , b 而得到方程。
简而言之, Hough 变换思想为:在原始图像坐标系下的一个点对应了参数坐标系 中的一条直线, 同样参数坐标系的一条直线对应了原始坐标系下的一个点, 然后, 原 始坐标系下呈现直线 的所有点,它们的斜率和截距是相同的,所以它们在参数坐标 系下对应于同一个点。 这样在将原始坐标系下的各个点投影到参数坐标系下之后, 看 参数坐标系下有没 有聚集点,这样的聚集点就对应了原始坐标系下的直线。
b kx y +=
5.3 基于 simulink 的仿真
图 5.3
上图 5.3为基于 matlab 中的 simulink 的仿真的模型图。 模型图中的 image from file为数字图像输入模块,使用的是从文档中输入; Color space conversion模块为把彩色 的图像转化为灰度图像; Median filter 模块为中值滤波; dilate 模块为膨胀。 Edge detection 模块为边缘检测,可选择 sobel edge、 prewitt edge、 roberts edge、 canny edge四种边缘检测; hough transform为 hough 变换模块。 Video viewer为显示模块,模型 图中 Video viewer 显示灰度化图像, Video viewer1显示边缘检测后的图像, Video viewer2显示 hough 变换的图像。
5.4 另一条道路的实验结果
图 5.4 原图像 图 5.5 灰度化图像
图 5.6 直方图 图 5.7 均衡化直方图
图 5.8 中值滤波 图 5.9 Laplace边缘检测
图 5.10 Roberts边缘检测图 5.11 sobel垂直边缘检测
图 5.12 sobel水平边缘检测 图 5.13 sobel
边缘检测
总结
本文基于 matlab 的图像处理对非结构化道路进行检测,通过对检测结果进行计 算对汽车是否发生偏移做出判断并向驾驶人员发出预警。
系统的优点:
1. 从汽车主动安全的角度出发。该系统可以提高汽车的主动安全性能,他能降低 驾驶员驾驶疲劳。 汽车在给我们的生活带来方便的同时, 车祸的发生也给我们带来很 多的痛苦。 因为车道偏离而发生车祸占有很大的比率。 所以该系统很有存在必要。 他 可以减少驾驶员因为疲劳或者无意识偏离道路时而发生车祸。 特别是在非结构化道路 中,道路的环境很复杂。驾驶员要集中注意力观察道路中的情况,很容易发生疲劳。 该系统虽然不能完全代替人员,但可以给驾驶员提供一定的参考和帮助。
2. 从系统的成本角度出发。系统选择了一般的摄像头、车载电脑。和一般的预警 音响。成本比较便宜。相对于现在的偏离系统,成本有很大的降低。
系统的缺点:
系统是基于图像的处理, 他受到光照、 振动等来自外界的影响很多, 上传到车载 计算机的数字图像中噪声太多,经过不同的预处理有不同的结果,很多时候 Hough 变换难以检测出道路的两边缘线,系统工作不稳定。
系统的提高:系统可以使用不同的图像预处理, 不同的边缘检测等图像后期处理, 把非结构化道路的边缘尽量清楚的提取出来。 同时系统可以在车辆的侧边安装辅助摄 像头,当前方摄像头传送的信息确定为偏离后再经过侧边摄像头的确定再发出预警, 提高检测的准确性。
致谢
这次毕业设计能够顺利完成, 最想感谢我的导师朱淑亮老师, 感谢老师期间给我 做指导和建议。
感谢学校四年来的培养,感谢几年以来传授给我知识的老师。
最后, 感谢父母对我学习的支持, 使我拥有了上大学的条件, 能够学习这么多的 知识。 马上将要踏上工作岗位, 我会时刻铭记老师的教导, 会以同样的工作热情和踏 实的工作态度回报社会。
参考文献
[1] 孙即祥,图像分析,科学出版社, 2005
[2] 杨高波、杜青松, MATLAB 图像 /视频处理应用及实例,电子工业出版社, 2010 [3] Rafael C. Gonzalez、 Richard E. Woods,数字图像处理(第三版) ,电子工业出版社, 2011 [4] Rafael C. Gonzalez、 Richard E. Woods,数字图像处理(第三版) ,电子工业出版社, 2011 [5] 闫敬文,数字图像处理(MA TLAB 版) ,国防工业出版社, 2007
转载请注明出处范文大全网 » 基于支持向量机的非结构化道路