资 源 简 介
【内容提要】本书共分7个章节：神经网络概述；神经网络基础；BP神经网络；RBF径向基神经网络；自组织竞争神经网络；递归神经网络；支持向量机。【参考文献格式】韩敏编著. 人工神经网络基础. 大连：大连理工大学出版社.2014.03图书在版编目(CIP)数据人工神经网络基础/韩敏编著.一大连:大连理工大学出版社,2014.3ISBN978-7-5611-89.33-7I.①人…Ⅱ.①韩…Ⅲ.①人工神经网络一高等学校一教材Ⅳ.①TP183中国版本图书馆CIP数据核字(2014)第043411号德大学图书疗*(藏书6. ahu大连理工大学出版社出版地址:大连市软件园路80号邮政编码:116023发行:0411-84708842邮购:0411-84703636传真:0411-84701466E-mail:dutp(adutp.cnUrl:http://www.dutp.cn大连美跃彩色印刷有限公司印刷大连理工大学出版社发行幅面尺寸:185mm×260mm印张:9.7字数:224千字印数:1~10002014年3月第1版2014年3月第1次印刷责任编辑:唐爽责任校对:张檬封面设计:张莹ISBN978-7-5611-8933-7定价:25.00元多年来,人们从医学、生物学、信息学、计算机科学、认知学、组织协同学等各个角度试图对人体最高等级的器官—“大脑”及其辅助组织神经系统进行探索与模仿。在这样的背景下,诞生了一门新兴的学科—“人工神经网络”。人工神经网络( Artificial Neural Network,ANN),简称神经网络( Neural network,NN),它是由大量处理单元互联组成的非线性、自适应信息处理系统。人工神经网络是以大脑的工作模式为基础来研究自适应、非程序的信息处理方法。它具有强大的非线性建模能力、自学习能力和容错能力等诸多显著的优点,被广泛地应用于科研以及工程中,并在模弌识别与图像处理、控制与优化、金融预测与管理以及数据挖掘等领域取得了良好的效果。本书作为人工神经网络课程的教材,立足于基础。全书理论完整、层次清晰、内容由浅入深,循序渐进地对人工神经网络的相关知识进行讲解。本书在写作过程中非常注重内容的选择和编排,围绕从理论到实践的主线,从介绍人工神经网络的背景和发展历史入手,首先讲解人工神经网络的特点和功能,并强调其在诸多领域的应用,进而引起读者深入研究的兴趣。之后辅助以生物神经网络,来加强读者对人工神经网络一些基本概念的理解。以网络结构、学习算法、工作原理为核心详细介绍典型人工神经网络模型,同时加入人工神经网络的应用实例,使读者在理论与应用层面均有所收获。作者长期致力于人工神经网络及其学习算法的研究,本书正是结合了作者多年的研究和教学实践经验,并参考国内外学者编著的相关书籍和文献资料最终编写完成的。作者力图为高等院校工科专业的研究生和本科生,以及相关专业领域的科研人员和工程技术人员提供一本介绍人工神经网络基本理论和典型模型的系统性教材和参考书籍全书共分为七章。第一章神经网络概述,从神经网络的基本概念、起源、发展的几度起伏以及基本特点出发,对神经网络进行全面且深入的介绍。第二章神经网络基础,2人工神经网络基础主要阐述了人工神经网络的基础知识,从生物学角度出发,介绍了包括生物神经元、人工神经元、人工神经网络模型及其常用的学习算法与泛化能力。第三章前馈神经网络、第四章递归神经网络、第五章自组织竞争型神经网络和第六章支持向量机,分别就人工神经网络中十一个重要的网络模型进行了深入的探讨,并对毎种模型的基本概念、结构、算法以及实现步骤进行讲解。全书最后一章中辅以应用实例,以方便读者进行仿真实现并加深对神经网络的理解在本书出版之际,作者要感谢参与本书相关内容的研究及书稿编写、校对工作的老师和学生们,他们是秦攀副教授,博士生张檬、许美玲,硕士生任伟杰、曹占吉、边茂松、张雅美、张成坤、徐旭东。全书由博士生张檬做了认真细致的统稿。另外,也要感谢大连理工大学出版社的赵静老师对本书编写工作的帮助与支持。由于作者水平有限,书中难免存在错误和不足之处,敬请广大读者批评指正,以便进一步修订完善。韩敏2014年1月21日于大连第1章神经网络概述…1.1神经网络的基本概念…………1.1.1人脑与电子计算机的比较……1.1.2什么是神经网络1.2神经网络发展的历史回顾1.2.1神经网络研究的兴起1.2.2神经网络研究的萧条与反思1.2.3神经网络研究的复兴与再发展446891.2.4神经网络研究的热潮…1.2.5神经网络的新发展阶段…101.3神经网络的研究进展……121.4神经网络的基本特点、功能与应用………………………………………141.4.1神经网络的基本特点141.4.2神经网络的基本功能……………………………………………………161.4.3神经网络的应用………………………17本章小结19思考与练习第2章神经网络基础…………………………………………………………………212.1人脑神经系统概述…2.1.1人脑的基本结构2.1.2人脑神经系统的各部分功能232.2生物神经网络的基本概念……262.2.1生物神经元………………………………………………………262.2.2生物神经元的信息传递方式……282.3人工神经网络的基本概念,,,,,.,,,.,,,.,292.3.1人工神经元…292.3.2神经元的激活函数…302.4人工神经网络模型…322.4.1神经网络的网络结构…322.4.2典型的神经网络结构模型…………………………342.5神经网络的学习…352.5.1神经网络学习规则分类………362.5.2几种常用的学习规则374_人工神经网络基础2.5.3神经网络的泛化能力…本章小结……42思考与练习……………………………………………………………………………43第3章前馈神经网络………………………………………………443.1基本概念443.2感知器…………………………………………………………453.2.1单层感知器………3.2.2多层感知器………………………………………………………………483.3BP神经网络3.3.1误差反向传播算法…………………………………493.3.2误差反向传播算法的改进3.3.3BP神经网络的设计573.4径向基函数神经网络53.4.1径向基函数神经网络的结构……593.4.2径向基函数神经网络的学习算法61本章小结63思考与练习63第4章递归神经网络……………………………………………………………………654.1递归神经网络的基本概念654.2 Hopfield神经网络………………………………………………………………664.2.1离散型 Hopfield神经网络664.2.2连续型 Hopfield神经网络694.3 boltzmann机鲁,,4.3.1 Boltzmann机的基本概念24.3.2 Boltzmann机网络结构4.3.3 Boltzmann机学习算法…764.4储备池网络………………………………………………………………………………774.4.1储备池网络结构模型……………774.4.2储备池网络学习算法82本章小结…………………………………………………………………………………84思考与练习………84第5章自组织竟争型神经网络………865.1自组织竞争型神经网络基本概念………………………………………………865.1.1内星和外星学习规则875.1.2竞争学习规则………875.2自适应共振理论神经网络885.2.1ARTⅠ型神经网络的结构及工作原理…895.2.2ARTⅠ型神经网络的学习规则…91目录5.3自组织特征映射神经网络,,………………935.3.1自组织特征映射神经网络模型935.3.2自组织特征映射神经网络运行原理955.3.3自组织特征映射神经网络学习算法955.4对向传播神经网络………………………………………………975.4.1对向传播神经网络结构……………………975.4.2对向传播神经网络训练过程……………975.5学习向量量化神经网络……985.5.1向量量化……………995.5.2学习向量量化神经网络工作原理……………99本章小结………………………………………100思考与练习…101第6章支持向量机……………1026.1支持向量机的基本概念………………………………………………………1026.2线性支持向量机………………………1036.2.1线性可分离问题的算法…………………………………………1036.2.2线性不可分离问题的算法6.3非线性支持向量机1126.3.1非线性问题的算法1126.3.2核函数114本章小结…115思考与练习…………………………………………………………………………116第7章神经网络仿真实例1177.1仿真数据说明……………………………………………………………1177.2BP神经网络仿真实例………………………………………………………1217.3径向基函数神经网络仿真实例1237.4 Hopfield神经网络仿真实例……………………………………………………1257.5 boltzmann机仿真实例………………………………………………1267.6储备池网络仿真实例1277.7ARTI型神经网络仿真实例……………1297.8自组织特征映射神经网络仿真实例1337.9对向传播神经网络仿真实例…………………………………………………1347.10学习向量量化神经网络仿真实例1377.11支持向量机仿真实例139本章小结……………………………………………………………………………141思考与练习………………………………………………………………………………142附录143参考文献…………1451神经网络概述早在古希腊时期,人们就已经开始了针对认知和思维机器的探索研究。1946年第一台电子计算机的诞生标志着在此方面的研究有了突破性的进展。随着研究的逐步深入,人们深刻地意识到思维机器、智能计算机的研究对人类社会的发展具有的重要意义。计算机单纯的计算功能已无法满足实际的需求,人们希望它能够具有更加智能的特性,能解决更为复杂且具有逻辑性的一些问题。针对以上需求,在1956年,人工智能( ArtificialIntelligence,AⅠ)的概念被引人,它主要是研究利用计算机来模仿大脑进行推理、设计、思考、学习等思维活动,进而解决和处理实际生活中一些较为复杂的问题。人工智能的研究目的主要包括以下两个方面:一是提高人类认识自然、改造自然以及推动社会发展的能力;二是让人类进一步认识自己。其研究方法包括实现功能的模拟和实现生理结构的模拟两种。神经网络可以分为生物神经网络( Biological Neural Network,BNN)和人工神经网络( Artificial Neural Network,ANN)。生物神经网络是指存在于大脑中的实际神经网络;而仿照生物神经网络构造出来的网络为人工神经网络。在工程与学术界中所提到的神经网络一般是指人工神经网络,常简称其为神经网络。神经网络是一种典型的通过生理结构模拟实现人工智能的方法,它是从人脑的生理结构岀发,利用仿生学的观点,探索人类智能活动的机理,将对人脑微观结构的研究与其智能行为的研究相结合的一种方法。神经网络系统具有高度的非线性及自适应自组织的特性,它常被用来模拟认知、决策和控制等智能行为。神经网络理论的研究为人们解决大规模信息的并行处理和并行计算问题奠定了基础。自20世纪80年代以来,神经网络理论进入了一个快速发展的时期,引起了众多领域学者的关注,渗透到了几乎所有的工程应用领域。迄今,神经网络已然成为世界范围内迅速发展起来的一个前沿研究课题,具有相当繁杂庞大的理论和技术内容,取得了诸多具有重大意义的研究成果。对于初学神经网络理论的读者,笔者建议应首先掌握最基本的概念,包括究竞什么是神经网络?神经网络理论是在怎样的科学背景下产生的?它的发展历史、特点以及基本结构是怎样的?对它的研究究竟有什么意义?对于这些问题,本章将一一进行介绍。1.1.神经网络的基本概念电子计算机发展至今,其在计算速度或者按照某种编程规则执行复杂运算方面已经2人工神经网络基础可以做到非常精确与高效,在模拟人脑逻辑思维方面也有了长足的进展。对于一些较复杂的计算问题,电子计算机是可以完全战胜人类的。但是一旦涉及形象思维和灵感思维些需要联想或经验判断的问题,电子计算机就远不及人脑的反应速度。例如通过计算机来识别人脸、智能机器如何接住抛出的球等问题。为什么这些人类可以凭直觉与经验很快做出判断的动作,对于电子计算机来说却是异常困难呢?如果将人脑与电子计算机的工作方式进行对比,就不难找到答案1.1.1人脑与电子计算机的比较人类由于拥有高度发达的大脑而优越于其他的生物。人脑是一个极其庞大、复杂并且功能完善的系统,它是人类一切思维活动的基础,而思维则是人类智能的集中体现。人脑至少包含逻辑和形象两种基本思维方式。其中,逻辑思维的基础主要是概念、规则以及推理,即先将信息抽象为概念,再按照逻辑规则进行推理。由于概念可以用符号表示,而逻辑推理是按串行方式进行的,那么逻辑思维的过程可以事先写成串行指令然后交由机器完成,这正是电子计算机模拟人脑逻辑思维的方式。但是很明显计算机只能解决那些特征明确、推理或运算规则清楚的可编程问题,而对于一些与形象思维和灵感思维相关的问题,例如人脸识别以及运动等涉及联想或通过经验判断的问题,计算机就显得毫无天赋,很难完成人们将人脑的计算方式与传统的数字计算机相对比,从而发现问题根源所在。在对比过程中,人们发现无论是在信息处理的能力方面,还是在信息处理的机制方面两者都存在很大的差异。虽然现代的电子计算机发展迅速,针对数值运算、推理及逻辑判断等复杂的问题均可以很迅速的完成,但是与人脑相比,还是存在很大的差距。1.对于信息的处理,人脑不仅能对已学习的知识进行记忆,而且可以通过对外界输入信息的判断,联想到一系列早已存储在脑中的相关信息,从而将思维信息串联。这是一个积累的过程,是进行联想和创造的基础。对于电子计算机,人们输入的信息是保持不变的,因此不会出现信息遗忘的问题。如果我们在同样的地址存入新的信息,那么之前的信息将被覆盖,这决定了它没有回忆和积累的可能。另外,计算机内部各存储单元之间是没有关联性的,因此也没有联想的能力,没有积累和联想能力,也就决定了它无法进行创造的本质。2.人脑具有从实践中不断学习新的知识和技能、总结经验和教训的能力,这是一个认识、改变和成长的过程,体现的是人脑的学习与认知的能力。而计算机的工作过程都是人们预先设计好的,它按照编写的程序进行,最终得到预先设定好的结果,这只是一个执行的过程,并不会进行学习和积累经验3.对信息进行加工和处理的综合能力方面,人脑善于对客观世界的各种信息和知识进行归纳、对比和总结。人脑具有复杂的非逻辑的信息加工能力,包括具有联想和想象等需要形象思维和灵感思维才能实现的一些功能。也就是说,人脑的功能并不局限于一些数值和逻辑运算,它在解决复杂的实际问题时,不仅要考虑逻辑思维的原则,还要考虑经验、直觉等非逻辑的原则,进而做出综合性的判断。这种综合的判断能力也是人脑创造能
