人工智能结课报告

学号：     姓名：

一、课题：机器视觉及机器视觉系统的运用

二、摘要：科技在不停的发展，很多智能的东西在我们生活中随处可见，随着人工智能的不断发展，我们可以制造出真正的智能机器，而且这个领域也将成为下一个技术革命。机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品（即图像摄取装置，分 CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

机器视觉系统适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。

机器视觉不会有人眼的疲劳，有着比人眼更高的精度和速度，借助红外线、紫外线、X 射线、超声波等高新探测技术，机器视觉在探测不可视物体和高危险场景时，更具有其突出的优点。机器视觉技术现已得到广泛的应用。

机器视觉技术的诞生和应用，极大地解放了人类劳动力，提高了生产自动化水平，改善了人类生活现状，其应用前景极为广阔。目前在国外，机器视觉技术已广泛应用于生产、生活中，而我国正处于起步阶段，急需广大科技工作者的共同努力，来迅速提高我国机器视觉技术的发展水平，为我国的现代化建设做出自己的贡献。

三、 三个问题回答

（1）应用价值（10分）：为什么跟踪这个人、项目、技术或者算法？

    答：在学习人工智能时，从老师的课堂扩充中，我了解到了“机器视觉”这个词，所以我就对这项技术产生了兴趣，也对此进行了跟踪。

在国外，机器视觉的应用普及主要体现在半导体及电子行业。 机器视觉系统还在质量检测的各个方面已经得到了广泛的应用，并且其产品在应用中占据着举足轻重的地位。

目前国内随着经济水平的提高，3D机器视觉也开始进入人们的视野。目前3D机器视觉大多用于水果和蔬菜、木材、化妆品、烘焙食品、电子组件和医药产品的评级。它可以提高合格产品的生产能力，在生产过程的早期就报废劣质产品，从而减少了浪费节约成本。这种功能非常适合用于高度、形状、数量甚至色彩等产品属性的成像。

在行业应用方面，主要有制药、包装、电子、汽车制造、半导体、纺织、烟草、交通、物流等行业，用机器视觉技术取代人工，可以提供生产效率和产品质量。例如在物流行业，可以使用机器视觉技术进行快递的分拣分类，不会出现目前大多快递公司人工进行分拣，减少物品的损坏率，可以提高分拣效率，减少人工劳动。

（2）难点（10分）：这个人、项目、技术或者算法要解决的问题有哪些难点？

答：难点1：机器视觉检对图片信息收集的要求很高，需要比较清晰图像来进行处理。要得到好的图片对光源、镜头、相机图像处理软件、监听器等的要求都是很高。

    难点2：我对这个新的技术以前没有了解，所以我对机器视觉检测方法还不够了解，需要查相关资料来扩充这方面的知识。

难点3：机器视觉检测系统采用CCD照相机将被检测的目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像处理系统对这些信号进行各种运算来抽取目标的特征，如面积、数量、位置、长度，再根据预设的允许度和其他条件输出结果，包括尺寸、角度、个数、合格 / 不合格、有 / 无等，实现自动识别功能。对这么多事情的实现需要很多科技技术支持，所以需要了解的知识就很多。

难点4：很多运用中产品的质量检测中，由于产品的合格与不合格之间存在的因素很多。所以我个人觉得要从全方面来判断一个产品是否合格是很难的。

（3）收获（10分）：通过跟踪，你学到了什么？

读了《机器视觉技术及其应用综述》对难点四有了初步的解决方案：

光源与照明方案的配合应尽可能地突出物体特征量，在物体需要检测的部分与那些不重要部份之间应尽可能地产生明显的区别，增加对比度同时还应保证足够的整体亮度，物体位置的变化不应该影响成像的质量。在机器视觉应用系统中一般使用透射光和反射光，对于反射光情况应充分考虑光源和光学镜头的相对位置、物体表面的纹理。物体的几何形状等要素。

读了《基于车载前视摄像机的轨道异物检测》这本书我对机器视觉在实际生活中的运用的设计过程有了了解，对一个课题研究的过程有了认识：分许问题——算法描述——技术难题分许解决——建模实验——得出结论。同时我对这个问题中的考虑参数建模有了很深的印象，这对以后我的学习和研究有了很大的帮助。

《基于机器视觉技术的易拉罐罐底喷码检测系统设计》这篇文章是根据食品饮料行业易拉罐生产线的工作环境和罐底喷码检测的检测要求,设机研制了基于康耐视机器视觉的易拉罐罐底喷码检测系统,实现对易拉罐喷码不合格的产品进行自动检测与快速剔除。这个系统的研究让我对机器视觉在工业生产中的运用有了进一步的了解。这个机器视觉系统实时性好,可靠性高,有效地提高了在生产过程中产品喷码质量的控制。同时对这个运用的学习了解我对工业生产中的其它运用机器视觉体统的方面有了自己的理想。可能都是运用：图片采集、图像分许来进行检测的，当然我的认识可能是错误的，当我有兴趣在搜集其它资料进行学习。

在学习后我对上述难点的解决：

难点一解决方法：选取好的光源和照明方案。照明亮度、均匀度、发光的光谱特性也必须符合实际的要求，同时还要考虑光源的发光效率和使用寿命。选取好的光学镜头。最好选取包括显示模块和带有DSP 数字处理模块的图像采集卡，这样可以有高质量的图像实时显示和进行高速图像预处理。最好有好的视觉传感器，便于构成机器视觉体统。

难点二解决方法：读相关文献资料。这个难点我已经通过这几个周的学习解决，我对机器视觉已经有了了解。

难点三解决方法：这方面的知识我有了初步的了解，不过不能够达到实际运用。

难点四解决方法：通过学习了解，对于产品质量检测，我们课以根据待检测产品的特征，选取适合的参数来进行检测，如尺寸参数、色彩参数、三维控制参数、亮度等参数来区别合格产品和不合格产品，当然很多时候我们我们要同时考虑几个参数来做到准确的检测。

总结：通过对机器视觉以及机器视觉系统的学习，我对机器视觉的相关概念有了大体的了解，对机器视觉方面的技术难题也有了自己的想法。同时通过资料的阅读我对机器视觉系统在生活生产中的运用的案例有了了解，同时对这些方面的运用的了解让我对一些方面产生了自己的想法。比如我想：也许我们可以运用机器视觉在农业上得到运用，比如对优良种子的检测，好的种子才可能给我们带来好的收成，也才可能让农民的生活丰富裕。第二个我想了解的东西就是在人工智能课上老师给我们介绍的自动驾驶方面的东西。当然这个项目设计的技术难题一定很多。所以我对这个项目想进行进一步的跟踪学习。当然最好是能够学习了解其中的技术难题。

四、综述（30分）：为了解决你感兴趣的问题，你查找了哪些资料？

答：为了了解机器视觉以及机器视觉系统的运用我查了很多资料，主要阅读的文章有《基于车载前视摄像机的轨道异物检测》和《基于机器视觉技术的易拉罐罐底喷码检测系统设计》

下面是这两本书的大体介绍：

1书名：基于车载前视摄像机的轨道异物检测Railway Obstacle Detection using Onboard Forward-Viewing Camera

关键字：智能交通; 异物检测; 机器视觉; 支持向量机; intelligent transportation; obstacle detection; machine vision; support vector machines;

摘要：Track clearance is the foundation of the safe and continuous operation of railway system.Non-track circuit-based intrusion and obstacle detection techniques may be well applied for railway systems because the rail obstacles always greatly reduced the train speed.In this paper,a machine vision-based obstacle detection method is proposed based on the onboard forward-viewing camera and real-time image processing algorithms.First,a rail recognition algorithm is developed to automatically locate the rails in fro...

轨道交通线路净空安全是确保列车平稳、不间断运行的基础.由于轨间异物对行车安全产生严重影响,所以基于非轨道电路的轨道异物入侵检测系统在铁路系统中具有十分广泛的应用前景.本文提出了一种基于移动车载摄像机检测轨间异物的方法.首先,通过钢轨识别算法自动定位钢轨位置,并确定列车前方轨道是否有其它列车或公路车辆等大型异物,若有则进行报警;之后,基于边缘检测的异物检测算法自动检测轨间可疑小异物,同时提取可疑异物的尺度信息和颜色索引参数等相关特征;最后,用支持向量机(SVM)来对可疑小异物区域进行分类和辨识.车载实验结果表明,该方法可以有效地检测出轨间异物.

 2书名：基于机器视觉技术的易拉罐罐底喷码检测系统设计Can Bottom Coding Detection System based on the Machine Vision Technique

关键字： Machine vision; Printing detection; OCR character verification;

摘要：According to requirements of the food and beverage cans of production line of work,we develop the code detection system based on Cornwall machine vision.The non-qualified cans can be automatic detected and quickly removed.The test system consists of the light source and the visual processing system,electrical control and human-computer interaction system,defective goods eliminate equipment etc.When pulling through the imaging system,metal close to switch triggers stroboscopic light source and industrial int...本文根据食品饮料行业易拉罐生产线的工作环境以及罐底喷码检测的检测要求,研制了基于康耐视机器视觉的易拉罐罐底喷码检测系统,实现对易拉罐喷码不合格的产品进行自动检测与快速剔除。该检测系统由光源与视觉处理系统、电气控制与人机交互系统、次品剔除装置等组成。当易拉罐通过成像系统时,金属接近开关触发光源频闪和工业智能相机,获得高速易拉罐罐底图像,智能相机对其分析处理,由电气控制系统执行检测结果,从而达到分拣不良品的目的。通过实际项目应用证明:该系统实时性好,可靠性高,有效地提高了在生产过程中产品喷码质量的控制。

3书名《机器视觉技术及其应用综述》 AUTOMATION PANORAMA

  作者：段峰 王耀南 雷晓峰 吴立钊 谭文

摘要：机器视觉主要研究用计算机来模拟人的视觉功能从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。机器视觉技术的诞生和应用，极大地解放了人类劳动力，提高了生产自动化水平，改善了人类生活现状，其应用前景极为广阔。目前在国外，机器视觉技术已广泛应用于生产、生活中，而我国正处于起步阶段，急需广大科技工作者的共同努力，来迅速提高我国机器视觉技术的发展水平，为我国的现代化建设做出自己的贡献。

五、分析（20分）：这些资料告诉了你什么？没有告诉你，你想知道的什么？

（1）读《机器视觉技术及其运用综述》

这本书为我们比较全面的为我们介绍了机器视觉。包括机器视觉的概念、特点、机器视觉的关键实用技术、机器视觉应用实例。其中机器视觉主要研究用计算机来模拟人的视觉功能从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。对于这本书，由于篇幅不是很长，我对它进行了全文的阅读。这本书也给我很多机器视觉方面的知识。

这本书中的图1给我对机器视觉系统的产品检测有了直观的认识：

 其中这本书中给出了机器视觉在工业检测中的应用、机器视觉在医学中应用、机器视觉在机器人导航及视觉伺服系统的应用、机器视觉在图像监控安防交通管理中的应以及机器视觉在卫星遥感中的应用的实例。通过我对这几个实例的阅读和学习我对机器视觉以及机器视觉体统有了更多的了解。对其不同的运用技术也有了初步的了解。这些运用中用到了光度不同、纹理不同、运动信息反馈等区别对生产生活中的 各个领域进行了运用。

  可以说这本书对机器视觉的概念以及基本运用做出了全面的讲述，对我来说，给我对机器视觉的初步了解起了很大的作用。

（2）读《基于机器视觉技术的易拉罐罐底喷码检测系统设计》

这篇文章我只是做了浏览式阅读，重点是对《基于车载前视摄像机的轨道异物检测》的阅读。这篇文章主要是根据食品饮料行业易拉罐生产线的工作环境以及罐底喷码检测的检测要求,研制了基于康耐视机器视觉的易拉罐罐底喷码检测系统,实现对易拉罐喷码不合格的产品进行自动检测与快速剔除。该检测系统由光源与视觉处理系统、电气控制与人机交互系统、次品剔除装置等组成。当易拉罐通过成像系统时,金属接近开关触发光源频闪和工业智能相机,获得高速易拉罐罐底图像,智能相机对其分析处理,由电气控制系统执行检测结果,从而达到分拣不良品的目的。通过实际项目应用证明了该系统实时性好,可靠性高,有效地提高了在生产过程中产品喷码质量的控制。当然这个课题的了解对我阅读基于车载前视摄像机的轨道异物检测有了很大的帮助。他们的设计思路是一样的。不过这个需要考虑的参数没有轨道异物检测的复杂，所以我就重点阅读轨道异物检测这个文章。

（3）读《基于车载前视摄像机的轨道异物检测》

一开始检索机器视觉方面的书，看到这篇文章我就产生了很大的兴趣，因为随着列车行驶速度的提升，铁路的行车安全越来越受到人们的重视，基于非轨道电路的异物入侵检测系统研究已经引起学术界高度重视．我想机器视觉要运用到铁路异物入侵方面的应用非常有限的。因为我个人认为这里存在的难题有：异物的多样性、图像的低对比度和复杂背景等，这些问题往往使基于机器视觉的异物检测具有很大的困难．

文章重点引用：算法描述

在检测轨间异物时，首先需要对列车前方的钢轨进行定位，这样可以将异物辨识区域缩小为左右两根钢轨之间及其附近区域． 由于异物尺寸的大小直接影响检测算法的复杂程度，这里将异物分为大型异物和小型异物． 其中，大异物是指能够完全覆盖钢轨的异物，例如其它列车或公路车辆; 小异物是指无法完全覆盖钢轨的异物，例如行人或落石． 大型异物的辨识较为容易，只需判断是否遮挡两根钢轨即可． 在检测轨间小型异物时，由于易受阴影、轨间设备、道岔等因素的影响，轨间小异物辨识具有较大的不确定性． 所以，针对初步检测出的小型异物候选区域，需要进一步提取异物特征，并用支持向量机( SVM) 对可疑异物区域进行分类和辨识．最终的异物检测算法主要包括三个步骤:

( 1) 自动定位前方钢轨和遮挡钢轨的大型异物;

( 2) 基于边缘检测找出小型异物候选区域;

( 3) 利用训练好的SVM，对异物候选区域进行分类和辨识．

本文提出了一种基于机器视觉技术的轨间异物检测实时处理算法． 实验研究表明，该算法具有较高的处理速度，它与SVM 相结合，结构简单、可靠性高，并且可以应用于高速行驶的列车安全预警当中． 算法的准确率可以通过增加更多的特征参数来进一步提高，如何获得更好的特征参数、设计更简单便捷的提取算法是未来研究的方向．

这篇文章全面的为我描述了一个运用中所涉及的全部方面，包括每个需要考虑的因素。比如：异物的种类（正常物体、异常物体），还要判断物体的大小，根据长、宽、高参数以及物体是否会运动来判断该物体会不会影响火车正常运行，为了判断物体的属性，还要根基颜色参数来判别物体。我觉得这个技术可以扩展到其它领域的运用：比如汽车的自动驾驶。以及机器人的寻走路线选择。这也让我联想到了在人工智能课上老师给我们看的那两个视频呢。

六、结论（20分）：根据已有的资料，你觉得什么是现有技术能做的，什么是现有技术不能做的？在能做的中间，你打算做什么，并如何实现你的工作的实用价值？具体计划是什么？

答：（1）根据现在我所学到的东西；我觉得现在我可以做的就是在农业选种上运用机器视觉来检测所选的种子是否合格。这主要是由于我对机器视觉系统的检测运用了解，以及我来自农村，听说过假种子给收成带来极大影响的事件。所以我想可以运用机器视觉系统检测技术来对农业种子是否合格进行检测。确保农民能够种下好的种子，保证农民们有良好的收成，以此同时能够确保农民的生活越来越好。

  我同时还想研究一下机器视觉在自动驾驶上的运用，不过考虑到这个技术可能要就的技术很好，动态因素复杂，所以这个是我现有技术不能做到的。不过在以后的学习中我会一直跟踪这个课题，关注这个研究领域的突破。同事从中学习新的机器视觉方面的知识。当然我自己也希望自己有一台自动驾驶的车。呵呵，这似乎是一件有趣的事情。不过我想经过以后的研究，也许这可能会成为现实。

（2）如何实现我的种子检测研究：首先我要缩小研究对象。所以我取大豆为所要检测的对象。

步骤：（1）分许大豆特征：大豆种子分类——正常豆、被虫次过的都、不成熟的豆、发霉的豆。

     （2）分许这些豆子之间的差别：形状（被虫吃过的豆椭圆形被破坏）和颜色（霉变的有暗黑色）以及光滑度纹理（不成熟的豆不饱满所以不太光滑）。

     （3）确定检测方法：根据我所想到的可能因素和我对机器视觉的了解，我只能从颜色和形状以及纹理来对大豆种子进行检测。其中的主要关键是怎么确定颜色和形状的差异。根据我学习的列车异物判断技术。我首先要对正常大都进行特征提取：

A （对采集的图片进行分许）形状特征：周长(指目标区域的轮廓的像素个数)、面积（指目标轮廓区域内德总像素个数）、圆形度（指目标区域的边界形状接近圆的程度）

B 颜色特征：主要用来判断霉变大豆种子。这里的颜色特征还可以判断不成熟豆子（成熟豆子是黄亮的、不成熟豆子是暗绿色）。

C 纹理特征：光滑的为正常豆，纹理凹凸的为不成熟豆或是被虫吃得豆子

  我想通过对这三个方面的分许来确定大豆种子是否合格。当然由于我个人技术的限制，我所选用的参数很单一，可是着同样可以检测大豆种子的质量。

 检测方法：多次采集图片分许确定正常豆子的三个特征。运用机器视觉、图像处理、神经网络、自动控制、机械设计等原理研究实用于大豆检测的试验装置，以采集彩色图像为基础，经过图像色彩、动态分割等工作对图像进行处理。分选出正常豆、被虫次过的都、不成熟的豆、发霉的豆。

 在写这个研究计划时我明显发现很多东西自己还做不到，比如自动化流程的设计。由于自己的知识缺陷，我发现自己的检测方法在没有实行就已经被淘汰了。主要就是由于我所考虑的三个参数很难选择出百分之百的优质大豆种子。我需要考虑的因素要改再多一些。这样才能确保我所做的检测是正确的。最好能够做到能够筛选优质种子，这样就比检测更有实用价值。

（3）具体计划：在（2）中我对自己的大豆检测思路有了明确的框架。我的计划就是学习图像采集方面的知识，使采集到的图像适合对三个参数的区分。还有就是了解和实用传感器，这样才能确保这项研究的先进性和准确性。同时我要了解的就是参考这方面的机器视觉系统，让自己的这项设计有真正的实际运用。最主要的就是加入筛选功能。是这个设计能够在实际生活中运用到种子的筛选中去，而不只是种子检测。

 再一个计划就是在以后的学习生活中，我想对自动驾驶这个课题进行跟踪学习。这是我了解机器视觉的一个原因。自动驾驶设计的技术远比机器视觉复杂，不过我认为机器视觉是其中最最重要的一部分，因为机器视觉是车辆路劲选择以及障碍判断必须运用的技术。当然要深刻的了解自动驾驶，我还有学习和了解有光传感器和智能机器的知识。总之，我要了解各方面的知识，让自己对自动驾驶有深刻的了解。当然拥有一辆自动驾驶的车也是自己的一个梦想。