资 源 简 介
本书涵盖了摄像机投影矩阵、基本矩阵和三焦点张量的几何原理、和它们的代数表达，并配有实际的例子，如它们在由多幅图像进行景物重构中的应用。图书在版编目(C|P数据计算机视觉中的多视图几何/哈特利(R. Hartley)和齐瑟曼(A. Zisserman)著;韦穗等译.合肥:安徽大学出版社,2002.8sBN7-81052-503-4I.计…Ⅲ.①哈…②齐…③韦…Ⅲ.计算机视觉Ⅳ.TP302.7中国版本图书馆C|P数据核字(2002)第094394号閎努 CAMBRIDGE型UNIⅤ ERSITY PRESS喝罗剑桥大学出版社最新引进版Richard Hartley Andrew Zisserman A计算机视觉中的多视图几何韦穗杨尚骏章权兵胡茂林译出版发行安徽大学出版社经销新华书店合肥市肥酉路3号邮編230039)印刷合肥远东印务有限公司联系电话总編室0551-5107719开本787×10921/16发行部0551-5107784印张30.25电子信箱 ahdxchps( mail. hf.ah.cn字数710千特约编辑章权兵版次202年8月第1版责任编辑朱寒冬印次2002年8月第1次印刷封面设计孟献辉ISBN7-81052-503-4/TP·61定价50.00元如有影响阅读的印装质量问题,请与出版社发行部联系调换内容提要计算机视觉的基本问题是:根据若于輻世界景物的图像求得对真实世界景物结构的理解本书解决这个基本问题所采用的技术源于射影几何和摄影测量学.其与众不同的特色是采用未标定的方法—不需要知道或不必计算摄像机内部参数就能得到问题的答案.本书以一个统一的框架,对近期关于景物重构的理论和实现两方面的主要发展作了详细的介绍本书涵盖了摄像机投影矩阵、基本矩阵和三焦点张量的几何原理和它们的代数表达在讨论这些有关的理论和计算方法时都配有实际的例子,如它们在由多幅图像进行景物重构中的应用.作者提供了综合性的背景材料,读者只要熟悉线性代数和基本的数值方法就能够理解书中给出的射影几何和估计算法,并能直接依据本书来实现有关算法阴计回千基比人,面果别涂章,别器中序南则里且测到1工湖中茫,由型让计算机具有视觉,科学家与工程师们,作出了近40年的不懈努力应该说,40年努力的进展是显著的,进展主要有两个方面:速物热,管已经形成一些计算视觉的基本理论框架,如80年代初形成的以Mar为代表的视觉计算理论(有些学者称之为三维重建框架)和以后出现的基于模型的视觉(Mσ del based vsion)、主动视觉( Active Vision)等.现在看来,虽然我们仍然不清楚这些计算理论框架能否最终成为最理想的计算机视觉系统的基础,但有几点几乎是可以肯定的:一是迄今为止提出的各种理论框架虽然有方法论上的差异,有些甚至具有科学哲学思想的差异,但并没有本质上的相互排斥,而且是互补的.二是这些已有的视觉系统理论框架已经可以作为有一定程度视觉功能的实用视觉系统的基础.随着计算机性能价格比的指数增长,以现有视觉系统理论框架为基础的,针对特定任务的实用视觉系统,将会广泛应用于现实生活中.三是与人工智能的其他许多领域类似,真正的突破要比当初想像的要困难得多.这里,“真正的突破”是指:当我们将当前的人工智能系统与人相比时,人的智能系统具有更强的通用性、自学习能力自适应性和对噪声的鲁棒性.车期亲谢的的计算机视觉另一方面的重要进展是,提出了大量的计算方法.尤其是90年代以来,为适应不同计算理论框架和为改进计算机视觉系统对噪声的鲁棒性,引进了许多数学方法和与之相对应的计算方法,几乎所有的数学分支,尤其是应用数学分支都要到计算机视觉领域来一显身手,使许多初学者,甚至搞了多年研究的学者都感到困惑.人们不禁要问,难道我们真需要这么多的复杂数学分支和计算方法来解决计算机视觉问题吗?事实上,这确实反映了当前的许多数学工具还不能有效解决“更强的通用性、自学习能力、自适应性和对噪声的鲁棒性”,另一方面,现在的许多数学方法,本质上是相通的而我们缺少既对这些方法都精通,又对计算机视觉中所面临的实际问题有深入理解的理论工作者来对各种方法加以融会贯通在上述视觉计算方法的研究中,基于几何的视觉计算方法,在90年代发展到了几乎是完美的程度.本书的作者既是这方面的先驱者,也在本书中作出了很好的总结与系统论述基于几何的视觉计算方法,之所以引起很大关注是因为:1.计算机视觉的硏究目标是使计算机具有通过二维图像认知三维环境信息的能力这种能力将不仅使机器能感知三维环境中物体的几何信息,包括它的形状、位置、姿态、运动等,而且能对它们进行识别与理解、事实上,80年代形成的Mar的计算理论框架和其他计算理论框架中,绝大部分内容都涉及利用几何方法计算环境中的三维物体的形状、位置、姿态和运动2.如果读者对欧几里德几何和近几百年来提出的各种几何,如本书中提到的射影几何、仿射几何等有些深入了解的话,应该理解“各种几何的本质是描述几何元素在不同变换群下的不变量”.由此,使用几何方法,不仅可以由二维图像重建( reconstruct)三维物体,还可以描述它们在摄像机变换下的不变量,从而达到识别的目的,也就是说,几何方法,可以贯穿计算视觉理论框架下的所有部分,有人称之为基于几何的计算机视觉3.90年代以来,计算机视觉界将对应于射影几何、仿射几何、欧几里德几何的射影变换、仿射变换、欧几里德变换系统地引进到视觉计算方法中.三种变换都构成变换群,而且,后者为前者的子群,它们所对应的几何不变量,前者为后者的子集.这些性质比较完美地对应为视觉系统中对物体由粗到细的描述,在一些特定任务的计算机视觉系统中降低了对系统参数了解的要求(如本书中所描述的不需要对摄像机标定的三维重建),一定条件下提高了系统对噪声的鲁棒性,而这些确实是许多实用计算机视觉系统极为需要的品质艹、本书全面介绍了近10年来发展的基于几何的计算杋视觉计算方法及其数学基础.除了上述内容外,其中多摄像机视图几何及其计算方法,值得读者关注,这是因为当前计算机的性能价格比大大提高,使人们有条件在视觉系统中使用更多的摄像机,以利用冗余的信息,来换取系统对噪声的鲁棒性.系统对噪声的鲁棒性一直是实用计算杋视觉系统的瓶颈问题,解决该问题的可能的办法是:提高摄像机的分辨率、多摄像机方法和近年来大量引进的统计最优化鲁棒算法(本书许多章节也有描述)安徽大学的老师们将本书译成中文,是一件很有益的工作,我曾长期讲授计算机视觉课程,深感我国工科大学研究生,缺乏现代几何的有关知识,对近10年来发展的基于几何的计算杌视觉计算方法的本质接受较慢.本书比较系统地介绍了射影几何,在各章节中也注意介绍有关数学基础,使即使缺少这方面系统知识的工科学生也能接受,应该对我国专门从事计算机视觉研究的读者有较好的参考价值.这本书对我国从事相关数学领域研究的人士也值得一读,计算机视觉涉及的数学,量大面广,是一个典型的数学工作者可有用武之地的领域,但比起其他国家来说,我国的数学家们基本不介入一些有相当实用背景的新兴学科,学科不能交叉,创新从何而来?坐平千蛋由于本书是介绍计算机视觉中的一个分支的很专业的书,为了使初学者对其背景有一点了解,我对本书的内容和特点做了上述介绍,以此为中译本序,不一定准确,望读者批评指正,封面自,比日,滑趣变“出具工半青的出下长草批面斗率,钱平的材管以腿器雪谢工射塑人第官中国科学院自动化所马颂德虽年具属甲0,十于要。中府的数王的南的你出中许本室,的多首的计本1大分,就三A期图市具共景目你是,,。部跑三,息加中三,,的三的中测限书国样因都错使园中计,同(来平百同具断里同不常式1为录回具器“三,的工只的,三()卖团一由下不,出正到地,当铁回具,离,阶目到面,量年不别的原序奥利维尔·法格罗斯( Olivier Faugeras)60年代,在人工智能领域的带头专家眼里,使计算机具有视觉功能充其量只是属于暑期学生设计的事.40年以后这项任务仍然没有解决并且似乎还很艰难,称之为计算机视觉的整个领域本身已成为一门与数学和计算机科学都有很强联系的学科,同时它与物理感知心理学和神经科学也有一定的联系,造成部分失败的一种可能的原因是研究者忽略了这样的事实:动物和人类的感知,特别是视觉感知比当初想像的要复杂得多.当然没有理由要求计算机视觉算法一定要模仿生物,但事实是:(1)生物视觉工作的方式仍有许多未知的东西,因而难以在计算机上模拟(2)企图忽略生物视觉而重新发明一种基于硅片的视觉并没有像当初想像的那样成功除了这些负面的评论外,计算机视觉方面的研究者在实践和理论两个方面都已经获得了某些显著的成功.在实践方面,举一个例子说明,用计算机视觉技术引导汽车、卡车等交通工具在平坦的道路或崎岖的地形上行驶已成为可能,并且许多年前就在欧洲、美国和日本进行过演示.引导车辆需要相当复杂的实时分析三维动态景物的能力.今天,汽车制造商已慢慢地将其中的某些功能集成到他们的产品中去在理论方面,称之为几何计算机视觉的领域已经取得了一些显著的成就.其中包括把从不同视点观察到的物体表观的变化描述成一个关于物体形状和摄像机参数的函数.如果不应用相当复杂的数学技术,这样的成就是不可能得到的,上述数学技术囊括了几何的许多领域,有古代的也有现代的.这本书特别对世界物体的图像间存在的复杂而又美妙的几何关系加以研究.对这些关系加以分析本身是很重要的,因为提供对视觉表观的解释是科学的目标之一,同时研究它们的另一个重要原因是对它们的理解导致的应用范围越来越这本书的作者是两位几何计算机视觉领域的开拓者和专家.他们在具有挑战的领域取得了成功,即他们把需要理解的几何概念表达得浅显易懂,把他们以及全世界的其他学者获得的成果覆盖得很全面,分析了几何与图像测量必含有噪声这一事实之间的相互影响,把许多理论的结果表达成算法的形式,从而使它们能够很容易地被转换成计算机代码,并且给出了许多真实的例子来解释概念,展示了理论的应用范围回到使计算机具有视觉功能的初衷,我们也许怀疑这种工作是否是在正确方向上,我必须让本书的读者来回答这个问题,并且我相信读者会赞同如下的断言:任何一个打算用摄像机连接计算机的系统设计者都不会忽略这项工作.这可能是在定义使一台计算机具有视觉功能到底意味着什么这个方向上重要的一步并重机原游四,三出出,再球中些前言过去十多年里,计算机视觉在多视图几何的理解和建模方向已得到迅速发展.理论和实践已达到成熟的程度,10年前尚未解决并经常被认为无法解决的一些问题现在已经有了漂亮的结果.这些任务和算法包括:一满个正不·给定两幅图像而不附带其他信息,计算图像之间的匹配、产生这些匹配的点的3D位置以及得到这些图像的摄像机·给定三幅图像并不附带其他信息,类似地计算图像之间的匹配点和直线,以及这些点和直线的3D位置和摄像机·在不需要标定物体的情况下,计算双眼装置的对极几何以及三目装置的三焦点几何由自然景物的图像序列来计算摄像机的内参数(即“在放映中”标定)这些算法的与众不同的特点是它们是未标定的—不必要知道或不必首先计算摄像机的内参数(例如焦距)支撑这些算法的基础是一种新的、更完整的关于多幅未标定视图的几何理论的理解:所包含的参数数目,视图中点和直线之间的约束,以及由图像对应恢复摄像机和三维空间点例如确定一副双眼装置的对极几何仅需要指定7个参数,并不需要对摄像机进行标定.这些参数可以由7个或更多的图像点对应确定,与此非标定的路线相反,10年前采用了预先标定的路线:每个摄像机必须首先用工程上仔细标定的并已知几何的物体的图像进行标定标定涉及确定每一个摄像机的11个参数,然后由这样两组11个参数的数据才能计算对极几何该例子说明未标定(射影)方法的重要性—采用适宜的几何表达可使计算每一阶段所需要的参数更明晰.这样避免了计算那些对最后结果没有影响的参数,并得到更简单的算法,同时,在这里值得纠正一个可能产生的错误概念,在未标定框架中,实体(例如三维空间点)通常在一个准确定义的多义性下加以恢复,这种多义性并不表示点是一种不良估计更贴近实际来看,通常不可能对摄像机进行一次标定后就永久有效,例如摄像机被移动了(在移动的车上)或内参数改变了(具有变焦的侦察摄像机).进一步说,在某些情况下标定信息并不能简单得到.想像如下情况:由视频序列计算摄像机的运动,或由归档的胶片卷构造虚拟现实的模型,其中运动和内标定信息都是未知的在多视图几何方面之所以取得成功可能是因为我们关于理论理解方面的进展,同时也是由于由图像估计数学目标的提高.第一个提高是关注的超定系统的误差必须最小化不论它是代数的、几何的或是统计的;第二个提高是使用了鲁棒估计算法(例如 RANSAC),使得估计不受数据中“野值”的影响同时,这些技术产生强有力的搜索和匹配算法,我们可以说现在许多重构的问题已经解决.这些问题包括:(1)由图像点对应估计多焦点张量,特别是基本矩阵和三焦点张量(四焦点张量还没有得到重视)目录序……………………“………1原序4非着请和自和和量和面是前言只图单回具和是子接第0篇基础知识:射影几何、变换和估计本篇大纲……………………………………………………………第1章2D射影几何和变换…1.甲中········““,·,,开·中·+·,·,··”··21.1平面几何1.22D射影平面A1.3射影变换…1.4变换的层次……1111.51D射影几何……………………………………………………171.6射影平面的拓扑181.7从图像恢复仿射和度量性质………………………1+……………:20011.8二次曲线的其他性质…281.9不动点与直线…301.10结束语……32第2章3D射影几何和变换3412.1点和射影变换……………“……………………………………342.2平面、直线和二次曲面的表示和变换∴+++12.3三次绕线福着………………432:4变换的层次………………,…14425无穷远平面………………462.6绝对二次曲线………………………………………………………………………472.7绝对对偶二次曲面…………---492.8结束语50第3章估计—2D射影变换…………………………………………………5213.1直接线性变换(DLT)算法…………………………………5313.2不同的代价函数……………………………53.3统计代价函数和最大似然估计………………………………………………633.4变换不变性和归一化………………………………………………………………65113.5迭代最小化方法………………………………………………6913.6算法的实验比较…………………723.7鲁棒估计………………………………733.8单应的自动计算………………3.9结束语……………82第4章算法评价和误差分析………………………864.1性能的界定…………………………………………………………864.2变换估计的协方差……………………………………………………904.3协方差估计的蒙特卡洛法84.4结束语……………………………99第1篇摄像机几何和单视图几何100本篇大纲……………………………………100第5章摄像机模型…………………………1015.1有限摄像机5.2射影摄像机………………………………………………………………10453无穷远摄像机……………11185.4其他摄像机模型11815.5结束语………………………………………………………………………119第6章计算摄像机矩阵P1216.1基本方程;事12106.2几何误差…………………………………………………………………12336.3受限摄像机估计1266.4径向失真…………………………1306.5结束语……………………………………………………………………132第7章进一步讨论单视图几何………………………………………………………1347.1射影摄像机对平面、直线和二次曲线的作用…1344.7.2光滑曲面的图像………………………………………………………………1377.3射影摄像机对二次曲面的作用…………………………………………………1387.4摄像机中心的重要性……………………1407.5摄像机标定与绝对二次曲线的图像…………………………1457.6消影点与消影线……………14977由消影点和消影线确定标定κ………………1537.8结束语…………………………………………………155第2篇两视图几何………………………158本篇大纲………………………………………………………………………158第8章对极几何和基本矩阵…:1598.1对极几何………1598.2基本矩阵F………………………………………………………1618.3…由特殊运动产生的基本矩阵…166
