《全天候机器人视觉》田建东著|(epub+azw3+mobi+pdf)电子书下载

图书名称：《全天候机器人视觉》

【作　者】田建东著

【丛书名】智能制造与机器人理论及技术研究丛书

【页 数】 259

【出版社】 武汉：华中科技大学出版社 , 2020.07

【ISBN号】978-7-5680-6131-5

【分 类】机器人视觉

【参考文献】 田建东著. 全天候机器人视觉. 武汉：华中科技大学出版社, 2020.07.

图书封面：

图书目录：

《全天候机器人视觉》内容提要：

本书依托国家自然科学基金“共融机器人基础理论与关键技术研究”重大研究计划培育项目-面向室外复杂光照与气象条件的共融机器人多模感知系统撰写而成。复杂多变的光照环境与气象条件给机器人的自主作业及主动安全带来了诸多问题，降低了其算法的鲁棒性及环境自适应性。寻求该问题的有效解决方案一直是机器人视觉及相关学科的重要研究方向。不同于目前单纯基于图像数据处理的研究方式，我们从大气物理与光学成像的角度去研究和解决问题，形成了研究特色及理论体系，取得了一系列原创性成果。本书将以这些理论成果为基础，详细系统地论述复杂光照与恶劣环境下机器人视觉系统的环境感知、建模及图像预处理技术。这些技术将图像与环境相关联，为研究机器人环境智能感知提供了理论基础，对于提高机器人的自主环境感知能力研究具有积极的科学意义。

《全天候机器人视觉》内容试读

滋第1章绪论

1.1机器人视觉简述

机器人视觉系统指为机器人提供视觉感知的系统，它广泛应用于海陆空天各种机器人，如图1-1所示。机器人视觉系统通常以相机为工具，以图像为媒介，兼备视觉信息输入和对输入的视觉信息进行处理的功能，能够提取出有用的信息提供给机器人，使之实现定位导航、路径规划、避障、理解环境与检测目标等功能，进而具有自主适应环境和作业的能力。就像眼睛对于人的意义一样，机器人视觉系统在机器人系统组成中占有非常重要的地位。

图1-1机器人视觉系统应用领域示例

·1

全天候机器人视觉

机器人视觉技术经过几十年的发展已经取得了卓越的成果，但其所面临的问题也是不容忽视的，其中一个重要的问题就是如何在复杂的光照和气象条件下提高机器人视觉系统的稳定性及可靠性

在室外复杂的自然光照与气象条件下，图像质量不稳定。光照和天气的变化将改变图像的像素值分布，影响机器人视觉算法的根基，进而影响机器人的一些基本

能力，如VSLAM(视觉即时定位与地图构建)、自主导航、环境理解及作业能力。机

器人视觉系统往往不能人工控制光照环境，通过好的照明条件获取清晰的图像，并克服阴影和反光等问题，而需要面对动态非结构化的自然环境，面对各种复杂的自然光照和天气状况。这些也是本书主要关注的内容。

1.2复杂光照及恶劣天气对机器人视觉的影响

光是地球上万物生长之源，光的存在给人类带来了丰富多彩的世界和五彩斑斓的图像。不同天气不同时刻下光照将会呈现不同颜色，如光在晴天中午的时候接近白色，而在日出或者日落的时候呈现金黄色。这些光源或光照的变化给人类世界带来了形态各异的图像，如图1-2所示。一些光照现象，如阴影和高光等，也是由不同的光照条件或光源所引起的。这些复杂的光照变化会极大影响场景中物体的外观，给计算机视觉的研究与应用带来许多负面影响。以人脸为例，Adini等人(1997)曾用实验证明，不同光照下同一人脸的差异有时比同

一光照下不同人脸的差异还大。图1-3所示为同一场景在不同光照和气象条件下的拍摄图像示例。可以看出，同一场景在不同光照和气象条件下的拍摄图像差异也非常大。

图1-2不同光照下拍摄的一系列图像

·2

第1章

绪论

图1-3同一场景在不同光照和气象条件下的拍摄图像示例

光照和天气变化会影响图像质量，改变图像的像素值，进而影响后续的特征提取、目标分割与识别、场景理解等算法的鲁棒性和环境自适应能力，将会极大影响基于图像特征的目标识别、跟踪等算法的鲁棒性(Cucchiara et al.,2003;

Nadimi et al..,2004)。目前，虽然图像处理和机器人视觉的研究在面向具体任务（如识别和导航等）的上层算法方面取得了长足进步，但是在光照、天气变化等条件下及特殊环境下的作业问题仍然没有得到很好的解决。比如，在目标表面存在阴影、反光，光照变化及恶劣天气等条件下，现有的方法仍缺乏鲁棒性和自适应性。目前，尚没有一种通用的视觉算法能够适用于所有场景光照条件，这使得视觉任务的可靠性难以满足复杂多变的光照变化。因此，不同光照和天气条件下的图像变化的建模与处理仍是计算机视觉领域亟需解决的关键问题。该问题的解决将会促进计算机视觉和相关学科的发展，使之具有广阔的应用前景。

根据作用范围的不同，图像上的光照变化可以分为全局光照变化和局部光照变化。全局光照变化处理方法主要包括颜色恒常和本征图像分解。局部光照变化的处理对象主要是阴影和反光。在实际应用中，尤其是室外环境作业中，因场景中光照稳定（如室外日光），故图像中较少出现偏色等现象。与全局光照变化相比，现实应用中更为常见和棘手的是图像上的局部光照变化（如阴影和反光等)。这就有必要对室外光源（日光和天空光）进行建模与计算，以分析它们的光谱分布特性。除了光源变化，图像中的光照现象还与反射光谱及相机响应特性有关。本书对光照处理的研究从室外光照建模、反射光谱计算和相机响应特性三个方面入手，提出了新的室外光源光谱计算方法及图像光照处理

·3·

全天候机器人视觉

算法。

对于机器人视觉系统，人们还要求其在坏天气下也能正常工作。坏天气一般分为两类：静态坏天气（雾霾天气）和动态坏天气（雨雪天气）。静态坏天气通常由飘浮于空中的小颗粒造成，它们主要会降低图像的清晰度，如图1-4()所示。动态坏天气下图像清晰度的降低通常由运动的大颗粒造成，它们使图像部分被遮挡，如图1-4(b)所示。所以静态坏天气条件下图像的复原工作主要是提高图像的清晰度，而动态坏天气条件下图像的复原工作主要是补全被颗粒遮挡的部分。

(a)

(b)

图1-4坏天气降低了图像质量(a)雾霾天气：(b)雨雪天气

室外场景图像的分析与处理一直是机器人视觉及其相关领域（如图像分割、特征提取、目标识别、目标跟踪、场景理解等领域)的研究重点之一。图像是视觉算法的基础，图像的颜色和亮度等像素信息，以及在此基础上衍生的各种图像特征（如角点、边缘、梯度、纹理等）是机器人视觉领域处理问题的根本。光照和天气的变化将改变图像的像素值分布（见图1-5(b)和1-5(c)对比），从而影响机器人视觉算法的根基。因此，如何提高复杂光照和恶劣天气下的机器人视觉能力是一个亟待解决的科学问题，也是实际应用中的一个瓶颈问题，许多视觉算法都要涉及对光照和天气的分析与处理。对此，学术界和工业界已有共识，如著名机器人专家Henrik I.Christensen教授及其团队20l5年发表在机器人领域著名刊物IEEE

Robotics and Automation Magazine上的关于机器人视觉的评述性文章Where arewe after five editions?:Robot Vision Challenge,a Competition that Evaluates forthe Visual Place Classi fication Problem多次强调，光照和天气条件是机器人视觉中的挑战性问题。

近年来，随着深度学习技术的飞速发展，视觉中面向具体任务（如视觉伺

4

第1章

绪论

服、目标识别、跟踪、图像理解等)的研究已经取得了显著进展。然而，需要注意的是这些视觉算法都是针对质量好、光照条件稳定的图像（见图1-5(c)开发的。实际上，机器人经常需要工作在复杂、动态、非结构化的环境中，在室外复杂的自然光照与气象条件下，图像质量不稳定（见图1-5(b))。在这种情况下，机器人视觉系统的表现往往难以尽如人意，缺乏对环境的自适应能力及鲁棒性。因此针对该问题的图像预处理（如图1-5(b)经预处理得到图1-5(c)对机器人视觉具有重要意义。

M-H

(a

环境

(c)

图像处理

(得到光照均匀、能见度高的理想图像)

(b)

图1-5机器人视觉系统对复杂图像的处理

()机器人：(b)复杂光照与恶劣天气下的场景图像；(c)理想的机器人视觉输入图像

笔者认为，光照及气象条件作为一种自然条件，其成因和特性与光源、反射、传输、成像等物理因素有关。如果仅从图像数据的角度去考虑问题，则不易抓住问题的本质，因此本书从大气物理与光学成像的角度去研究和解决机器人视觉中的光照和气象问题。本书中的主要模型与算法均建立在物理光学理论基础之上，有着明确的物理解释，并且图像特征也将具有物理意义，这是本书的主要特色。

·5

全天候机器人视觉

1.3颜色匹配函数与场景复现基础

本书从大气物理与光学成像的角度分析复杂光照和天气变化如何影响图像，并在此基础上开发相应的图像处理算法，这些算法涉及场景复现计算和成像要素分析。本节首先对颜色匹配函数和场景复现的基本原理进行简要说明。

颜色是人脑对进入人眼的光线形成的知觉，它不是物理量，涉及视觉生理学与视觉心理学，较为复杂。为了能够对颜色进行度量与计算，科研人员做了大量的工作。在颜色科学中，最为著名的是格拉斯曼(Grassmann)颜色相加定律与国际照明委员会(Commission Internationale de l'Eclairage,CIE)颜色匹配实验。它们为近代颜色科学提供了理论基础，奠定了以三刺激值为基础的颜色

科学体系。格拉斯曼颜色相加定律可表述为：若(A)=(B)及(A)=(B),那么

(A)十(A1)=(B)十(B,)。其中“=”表示视觉效果相等。

颜色匹配实验是利用三原色光的混合达到与被匹配光的颜色视觉感知相同的实验。如图1-6所示，最左面是一块白色屏幕，红、绿、蓝三原色光（波长分别为700nm、546.1nm、435.8nm)照射在白色屏幕的上半部分，待匹配色光源

照射在白色屏幕的下半部分，人眼视场角约为2°。若用(R)、(G)、(B)代表产生

混合色光的红、绿、蓝三原色光的单位量，R、G、B代表匹配出待匹配色光所需

要的红、绿、蓝三原色光的单位数（又称为三刺激值），当混合色光与C个单位的

待匹配色光(C)颜色感知相同时，则有下式成立：

C(C)=R(R)+G(G)+B(B)

(1-1)

颜色匹配实验的结果就是得到颜色匹配函数(color matching function,

CMF),如图1-7所示，图中“1931”表示对应的颜色空间建立于1931年。颜色

匹配函数代表匹配出水平刻度标示的波长的单色光的颜色所需要的三原色光单位数。匹配函数出现负值表示在被匹配颜色色度饱和的情况下，用三原色无法实现匹配，需要在被匹配颜色处加色。

需要指出的是，颜色匹配实验和颜色匹配函数依赖于三原色的选取。

三原色的选取原则除了每种原色不能由其他两种原色混合产生之外并无其他。原色的不同会造成匹配函数的不同，进而产生不同的颜色系统。仅RGB颜色系统就有多种，比如CIE RGB、Adobe RGB、sRGB、Apple RGB等。

·6·

···试读结束···