计算机视觉中的多视图几何(高清中文版)

计算机视觉中的多视图几何(高清中文版)，比之前扫描版本的清晰很多。Multiple viewGeometryin Computer Vision计算机视觉中的多视图几间Richard Hartley Andrew Zisserman韦穗杨尚骏章权兵胡茂林译安徽大学出版社图书在版编目(C|P)数据计算机视觉中的多视图几何/哈特利(R. Hartley)和齐瑟曼(A. Zisserman)著;韦穗等译.-合肥:安徽大学出版社,2002.8SBN7-81052-503-4I.计…Ⅱ.①哈…②齐…③韦…Ⅲ.计算机视觉Ⅳ.TP302.7中国版本图书馆CP数据核字(2002)第094394号閎閎CAMBRIDGeUNTVERSITY PRESS剑桥大学出版社最新引进版Richard Hartley Andrew Zisserman计算机视觉中的多视图几何韦穗杨尚骏章权兵胡茂林译出版发行安徽大学出版社经销新华书店(合肥市肥西路3号邮编230039)印刷合肥远东印务有限公司联系电话总编室0551-5107719开本787×10921/16发行部0551-5107784印张30.25电子信箱ahdxchps@mai.hf.ah.cn字数710千特约编辑章权兵版次2002年8月第1版责任编辑朱寒冬印次202年8月第1次印刷封面设计孟献辉SBN7-81052-503-4/TP·61定价50.00元如有影响阅读的印装质量问题,请与出版社发行部联系调换内容提要计算机视觉的基本问题是:根据若干幅世界景物的图像求得对真实世界景物结构的理解本书解决这个基本问题所采用的技术源于射影几何和摄影测量学.其与众不同的特色是采用未标定的方法—不需要知道或不必计算摄像机内部参数就能得到问题的答案.本书以一个统一的框架,对近期关于景物重构的理论和实现两方面的主要发展作了详细的介绍本书涵盖了摄像机投影矩阵、基本矩阵和三焦点张量的几何原理和它们的代数表达在讨论这些有关的理论和计算方法时都配有实际的例子,如它们在由多幅图像进行景物重构中的应用.作者提供了综合性的背景材料,读者只要熟悉线性代数和基本的数值方法就能够理解书中给出的射影几何和估计算法,并能直接依据本书来实现有关算法序让计算机具有视觉,科学家与工程师们,作出了近40年的不懈努力.应该说,40年努力的进展是显著的,进展主要有两个方面:已经形成一些计算视觉的基本理论框架,如80年代初形成的以Ma为代表的视觉计算理论(有些学者称之为三维重建框架)和以后出现的基于模型的视觉( Model based vsion)、主动视觉( Active Vision)等.现在看来,虽然我们仍然不清楚这些计算理论框架能否最终成为最理想的计算机视觉系统的基础,但有几点几乎是可以肯定的:一是迄今为止提出的各种理论框架虽然有方法论上的差异,有些甚至具有科学哲学思想的差异,但并没有本质上的相互排斥,而且是互补的.二是这些已有的视觉系统理论框架已经可以作为有一定程度视觉功能的实用视觉系统的基础.随着计算机性能价格比的指数增长,以现有视觉系统理论框架为基础的,针对特定任务的实用视觉系统,将会广泛应用于现实生活中.三是与人工智能的其他许多领域类似,真正的突破要比当初想像的要困难得多.这里,“真正的突破”是指:当我们将当前的人工智能系统与人相比时,人的智能系统具有更强的通用性、自学习能力、自适应性和对噪声的鲁棒性计算机视觉另一方面的重要进展是,提出了大量的计算方法.尤其是90年代以来,为适应不同计算理论框架和为改进计算机视觉系统对噪声的鲁棒性,引进了许多数学方法和与之相对应的计算方法.几乎所有的数学分支,尤其是应用数学分支都要到计算机视觉领域来一显身手,使许多初学者,甚至搞了多年研究的学者都感到困惑.人们不禁要问,难道我们真需要这么多的复杂数学分支和计算方法来解决计算机视觉问题吗?事实上,这确实反映了当前的许多数学工具还不能有效解决“更强的通用性、自学习能力、自适应性和对噪声的鲁棒性”,另一方面,现在的许多数学方法,本质上是相通的.而我们缺少既对这些方法都精通,又对计算机视觉中所面临的实际问题有深入理解的理论工作者来对各种方法加以融会贯通在上述视觉计算方法的研究中,基于几何的视觉计算方法,在90年代发展到了几乎是完美的程度.本书的作者既是这方面的先驱者,也在本书中作出了很好的总结与系统论述基于几何的视觉计算方法,之所以引起很大关注是因为:1.计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能力这种能力将不仅使机器能感知三维环境中物体的几何信息,包括它的形状、位置、姿态、运动等,而且能对它们进行识别与理解.事实上,80年代形成的Mar的计算理论框架和其他计算理论框架中,绝大部分内容都涉及利用几何方法计算环境中的三维物体的形状、位置、姿态和运动2.如果读者对欧几里德几何和近几百年来提出的各种几何,如本书中提到的射影几何、仿射几何等有些深入了解的话,应该理解“各种几何的本质是描述几何元素在不同变换群下的不变量”.由此,使用几何方法,不仅可以由二维图像重建( reconstruct)三维物体,还可以描述它们在摄像机变换下的不变量,从而达到识别的目的,也就是说,几何方法,可以贯穿计算视觉理论框架下的所有部分,有人称之为基于几何的计算机视觉3.90年代以来,计算机视觉界将对应于射影几何、仿射几何、欧几里德几何的射影变换、仿射变换、欧几里德变换系统地引进到视觉计算方法中.三种变换都构成变换群,而且,后者为前者的子群,它们所对应的几何不变量,前者为后者的子集.这些性质比较完美地对应为视觉系统中对物体由粗到细的描述,在一些特定任务的计算机视觉系统中降低了对系统参数了解的要求(如本书中所描述的不需要对摄像机标定的三维重建),一定条件下提高了系统对噪声的鲁棒性,而这些确实是许多实用计算机视觉系统极为需要的品质本书全面介绍了近10年来发展的基于几何的计算机视觉计算方法及其数学基础.除了上述内容外,其中多摄像机视图几何及其计算方法,值得读者关注,这是因为当前计算机的性能价格比大大提高,使人们有条件在视觉系统中使用更多的摄像机,以利用冗余的信息,来换取系统对噪声的鲁棒性.系统对噪声的鲁棒性一直是实用计算机视觉系统的瓶颈问题,解决该问题的可能的办法是:提高摄像机的分辨率、多摄像机方法和近年来大量引进的统计最优化鲁棒算法(本书许多章节也有描述).安徽大学的老师们将本书译成中文,是一件很有益的工作,我曾长期讲授计算机视觉课程,深感我国工科大学研究生,缺乏现代几何的有关知识,对近10年来发展的基于几何的计算机视觉计算方法的本质接受较慢.本书比较系统地介绍了射影几何,在各章节中也注意介绍有关数学基础,使即使缺少这方面系统知识的工科学生也能接受,应该对我国专门从事计算机视觉研究的读者有较好的参考价值.这本书对我国从事相关数学领域研究的人士也值得一读,计算机视觉涉及的数学,量大面广,是一个典型的数学工作者可有用武之地的领域,但比起其他国家来说,我国的数学家们基本不介入一些有相当实用背景的新兴学科,学科不能交叉,创新从何而来?由于本书是介绍计算机视觉中的一个分支的很专业的书,为了使初学者对其背景有一点了解,我对本书的内容和特点做了上述介绍,以此为中译本序,不一定准确,望读者批评指正,中国科学院自动化所马颂德原序奥利维尔·法格罗斯( Olivier Faugeras)60年代,在人工智能领域的带头专家眼里,使计算机具有视觉功能充其量只是属于暑期学生设计的事.40年以后这项任务仍然没有解决并且似乎还很艰难.称之为计算机视觉的整个领域本身已成为一门与数学和计算机科学都有很强联系的学科,同时它与物理、感知心理学和神经科学也有一定的联系造成部分失败的一种可能的原因是研究者忽略了这样的事实:动物和人类的感知,特别是视觉感知比当初想像的要复杂得多.当然没有理由要求计算机视觉算法一定要模仿生物,但事实是(1)生物视觉工作的方式仍有许多未知的东西,因而难以在计算机上模拟(2)企图忽略生物视觉而重新发明一种基于硅片的视觉并没有像当初想像的那样成功除了这些负面的评论外,计算机视觉方面的研究者在实践和理论两个方面都已经获得了某些显著的成功在实践方面,举一个例子说明,用计算机视觉技术引导汽车、卡车等交通工具在平坦的道路或崎岖的地形上行驶已成为可能,并且许多年前就在欧洲、美国和日本进行过演示.引导车辆需要相当复杂的实时分析三维动态景物的能力.今天,汽车制造商已慢慢地将其中的某些功能集成到他们的产品中去在理论方面,称之为几何计算机视觉的领域已经取得了一些显著的成就.其中包括把从不同视点观察到的物体表观的变化描述成一个关于物体形状和摄像机参数的函数.如果不应用相当复杂的数学技术,这样的成就是不可能得到的,上述数学技术囊括了几何的许多领域,有古代的也有现代的.这本书特别对世界物体的图像间存在的复杂而又美妙的几何关系加以研究.对这些关系加以分析本身是很重要的,因为提供对视觉表观的解释是科学的目标之一,同时研究它们的另一个重要原因是对它们的理解导致的应用范围越来越这本书的作者是两位几何计算机视觉领域的开拓者和专家.他们在具有挑战的领域取得了成功,即他们把需要理解的几何概念表达得浅显易懂,把他们以及全世界的其他学者获得的成果覆盖得很全面,分析了几何与图像测量必含有噪声这一事实之间的相互影响,把许多理论的结果表达成算法的形式,从而使它们能够很容易地被转换成计算机代码,并且给出了许多真实的例子来解释概念,展示了理论的应用范围回到使计算机具有视觉功能的初衷,我们也许怀疑这种工作是否是在正确方向上.我必须让本书的读者来回答这个问题,并且我相信读者会赞同如下的断言:任何一个打算用摄像机连接计算机的系统设计者都不会忽略这项工作.这可能是在定义使一台计算机具有视觉功能到底意味着什么这个方向上重要的一步前言过去十多年里,计算机视觉在多视图几何的理解和建模方向已得到迅速发展.理论和实践已达到成熟的程度,10年前尚未解决并经常被认为无法解决的一些问题现在已经有了漂亮的结果.这些任务和算法包括:。给定两幅图像而不附带其他信息,计算图像之间的匹配、产生这些匹配的点的3D位置以及得到这些图像的摄像机给定三幅图像并不附带其他信息,类似地计算图像之间的匹配点和直线,以及这些点和直线的3D位置和摄像机在不需要标定物体的情况下,计算双眼装置的对极几何以及三目装置的三焦点几何由自然景物的图像序列来计算摄像机的内参数(即“在放映中”标定)这些算法的与众不同的特点是它们是未标定的—不必要知道或不必首先计算摄像机的内参数(例如焦距)支撑这些算法的基础是一种新的、更完整的关于多幅未标定视图的几何理论的理解:所包含的参数数目,视图中点和直线之间的约束,以及由图像对应恢复摄像机和三维空间点例如确定一副双眼装置的对极几何仅需要指定7个参数,并不需要对摄像机进行标定.这些参数可以由7个或更多的图像点对应确定.与此非标定的路线相反,10年前采用了预先标定的路线:每个摄像机必须首先用工程上仔细标定的并已知几何的物体的图像进行标定标定涉及确定每一个摄像机的11个参数,然后由这样两组11个参数的数据才能计算对极几何该例子说明未标定(射影)方法的重要性—采用适宜的几何表达可使计算每一阶段所需要的参数更明晰.这样避免了计算那些对最后结果没有影响的参数,并得到更简单的算法、同时,在这里值得纠正一个可能产生的错误概念.在未标定框架中,实体(例如三维空间点)通常在一个准确定义的多义性下加以恢复,这种多义性并不表示点是一种不良估计更贴近实际来看,通常不可能对摄像机进行一次标定后就永久有效,例如摄像机被移动了(在移动的车上)或内参数改变了(具有变焦的侦察摄像机).进一步说,在某些情况下标定信息并不能简单得到.想像如下情况:由视频序列计算摄像机的运动,或由归档的胶片卷构造虚拟现实的模型,其中运动和内标定信息都是未知的在多视图几何方面之所以取得成功可能是因为我们关于理论理解方面的进展,同时也是由于由图像估计数学目标的提高.第一个提高是关注的超定系统的误差必须最小化不论它是代数的、几何的或是统计的;第二个提高是使用了鲁棒估计算法(例如 RANSAC),使得估计不受数据中“野值”的影响同时,这些技术产生强有力的搜索和匹配算法我们可以说现在许多重构的问题已经解决.这些问题包括(1)由图像点对应估计多焦点张量,特别是基本矩阵和三焦点张量(四焦点张量还没有得到重视)(2)从这些张量中抽取摄像机矩阵,之后分别由二、三、四幅视图实现射影重构其他方面也取得了重要成功,虽然关于这些问题可能还有更多的东西需要研究.例如:(1)应用捆集调整去解决更一般的重构问题(2)给定摄像机矩阵的最小假定实现度量(欧氏)重构(3)在图像序列中自动检测对应并用多焦点张量关系消除野值和伪匹配本书安排:本书分五篇并有五个短附录.每篇引入一个新的几何关系:基础篇中的单应、单视图中的摄像机矩阵、两视图中的基本矩阵、三视图中的三焦点张量和四视图中的四焦点张量.在每篇中,有一章介绍该几何关系及它的性质和应用,而伴随章介绍从图像测量来估计它的算法.估计算法从简单、节省的方法一直介绍到相信是目前所得到的最佳算法第0篇:基础篇.这一篇比其他篇更像教材.它介绍二维空间和三维空间射影几何的中心思想(例如理想点和绝对二次曲线);该几何可以如何来表示、利用和估计以及该几何如何与计算机视觉中各种目标相关联,例如平面的图像矫正以消除射影失真第1篇:单视图几何.这里定义了从三维空间到图像的透视投影的各种摄像机模型并对它们进行剖析.叙述了用传统的标定物体技术对它们进行估计以及由消影点和消影线进行摄像机标定第2篇:两视图几何.这部分介绍两摄像机的对极几何,从图像点对应进行射影重构,解决射影多义性的方法,最佳三角形法以及通过平面实现视图之间的转移第3篇:三视图几何.这里介绍了三个摄像机的三焦点几何,包括由两视图得到的点对应向第三视图的转移,类似地还有线对应的转移;由点和线的对应来计算几何并求取摄像机矩阵第4篇:N视图.本篇有两个目的.第一,它把三视图几何扩展到四视图(一个较小的扩展),并介绍可用于N视图的估计方法,例如 Tomasi和 Kanade的用于由多幅图像同时计算结构和运动的分解算法.第二,它涵盖在前面章节中已经涉及的一些主题,通过强调它们的共性能够得到更全面、一致的理解,例如推导关于对应的多线性视图约東、自标定和多义性解附录:这里进一步给出关于张量、统计、线性和矩阵代数、迭代估计和稀疏矩阵系统的解法等背景材料