资 源 简 介
深度学习方法及应用这本书对最前沿的深度学习方法及应用进行了全面的概述，不仅包括自动语音识别(ASR)，还包括计算机视觉、语言建模、文本处理、多模态学习以及信息检索。在深度学习这一领域，这是第一本，也是最有价值的一本书，能使读者对这一领域进行广泛而深入的学习。深度学习对信息处理的很多方面（尤其对语音识别）都具有重大的影响，甚至对整个科技领域的影响也不容忽视。因此，对于有意了解这一领域的学者，这本书是不容错过的。深度学习:方法及应用1.1深度学习的定义与背景2006年,深度结构学习(经常被称作深度学习或分层学习)作为机器学习研究的一个新的领域出现了06。在过去的几年里,由深度学习发展而来的一些科学技术对信号和信息处理的各个方面都产生了深远的影响,这种影响不仅存在于传统领域,也存在于诸如机器学习和人工智能等一些重要的新兴领域中;对于此类硏究,文献[7,20,24,7,94,161,412]进行了概述,媒体报道[6,237]也有所涉及。近年来,很多研讨会、教程、期刊专刊或专题会议都对深度学习及其在信号和信息处理中的各种应用进行了专门的研讨活动,其中包括2008年NIPS( Neural Information Processing Systems,神经信息处理系统)深度学习研讨会(2008 NIPS Deep Learning Workshop);2009年NIPS关于深度学习的语音识别及相关应用的研讨会(2009NIPS Workshop on Deep Learning for Speech Recognition and Related Applications·2009年国际机器学习大会( International Conference on machine learning,ICML)关于学习特征的研讨会(2009 ICML Workshop on Learning Featureleararchies·2011年国际机器学习大会关于语音和视觉信息处理中学习架构、表示和最优化的研讨会(2011 CML Workshop on Learning Architectures, Representations, and Optimization for Speech and Visual Information Processing)2012 F ICASSP( International Conference on Acoustics, Speech and SignalProcessing,国际声学,语音与信号处理会议)关于在信号和信息处理中深度学习应用的研讨会(2012 ICASSP Tutorial on Deep Learning for Signal and Information Processing)·2012年国际机器学习大会关于学习表示的研讨会(2012 ICML Workshop on Representation Learning)2012年IEEE《音频、语音和语言处理》(T-ASLP,1月)会刊中有关语音和语言处理中深度学习专栏(2012 Special Section on Deep learning forSpeech and Language Processing in IEEE Transactions on Audio, Speech, and Language Processing(T-ASLP, January ))·2010,2011和2012年NIPS关于深度学习和无监督特征学习的研讨会( 2010, 2011, and 2012 NIPS Workshops on Deep Learning and Unsupervised Fea-ture learningLinux公社www.linuxidc.com1引言3·2013年NPS关于深度学习和输出表示学习的研讨会(2013NPSWorkshops on Deep Learning and on Output Representation Learning)2013年IEE《模式分析和机器智能》(T-PAMI,9月)的杂志中有关学习深度架构的特刊(2013 Special Issue on Learning Deep Architectures inIEEE Transactions on Pattern Analysis and Machine Intelligence (T-PAMIeptember )·2013年关于学习表示的国际会议(2013 International Conference onearning Representations2013年国际机器学习大会关于表示学习面临的挑战研讨会(203CMLWorkshop on Representation Learning Challenges·2013年国际机器学习大会关于音频、语音和语言处理中深度学习的研ifa(2013 ICML Workshop on Deep Learning for Audio, Speech, and LanguageProcessing)2013年 ICASSP关于《语音识别中的新型神经网络以及相关应用》专f=(2013 ICASSP Special Session on New Types of Deep Neural Network Learningfor Speech Recognition and Related Applications本书的作者一直从事深度学习的研究,也组织或参与过上述中的一些重要会议以及特刊的编写工作。要特别提出的是,本书作者频频受邀在众多重要会议上对深度学习进行专题报告,而本书的部分内容也是基于这些报告内容整理而成的。在开始详细介绍深度学习的内容之前,我们有必要先了解一些基本概念,下面是一些与深度学习密切相关的概念和描述:定义1:“机器学习是一类利用多个非线性信息处理层来完成监督或者无监督的特征提取和转化,以及模式分析和分类等任务的技术。”·定义2:“深度学习是机器学习的子领域,它是一种通过多层表示来对数据之间的复杂关系进行建模的算法。高层的特征和概念取决于低层的特征和概念,这样的分层特征叫做深层,其中大多数模型都基于无监督的学习表示。”;(2012年3月维基百科对深度学习的定义。)·定义3:“深度学习是机器学习的子领域,它是基于多层表示的学习,每层对应一个特定的特征、因素或概念。高层概念取决于低层概念,而且同低层的概念有助于确定多个高层概念。深度学习是基于表示学习的众多机器学习算法中的一员。一个观测对象(比如一张图片)可以用很多种方式表示(如像素的一个向量),但是有的表示则可以使基于训练样本的学习任务变得更容易(如判定某张图像是否为人脸图像)。这一研究领域试图解决一个问题:哪些因素可以产生更好的表示,以及对于这些表示应该如何学习。”Linux公社www.linuxidc.com深度学习:方法及应用(2013年2月维基百科对深度学习的定义。)定义4:“深度学习是机器学习的一系列算法,它试图在多个层次中进行学习,每层对应于不同级别的抽象。它一般使用人工神经网络,学习到的统计模型中的不同层对应于不同级别的概念。高层概念取决于低层概念,而且同一低层的概念有助于确定多个高层概念。”(2013年10月维基百科对深度学习的最新定义。)定义5:“深度学习是机器学习研究的一个新领域,它的出现将机器学习向人工智能这一目标进一步拉近。深度学习是对多层表示和抽象的学习,它使一些包括如图像、声音和文本的数据变得有意义。”(参看网址:htps:∥/github. com/lisa-lab/DeepLearning Tutorials应该注意的是,本书所讨论的深度学习是使用深度结构来对信号和信息进行处理,而不是对信号或信息的深度理解,尽管在有的情况下这两个方面可能会比较相似。在教育心理学中,是这样定义深度学习的:“深度学习是描述学习的一种方法,其特点是:主动参与、内在激励和个人对意义的探索。”(http://www.blackwellreference.com/public/tocnode?id=g9781405161251chunk_g97814051612516ss1-1)我们应该注意将深度学习与教育心理学中的这些被滥用的术语区别开来。在上述多个不同的高层描述中有两个重要的共同点:(1)都包含多层或多阶非线性信息处理的模型;(2)都使用了连续的更高、更抽象层中的监督或无监督学习特征表示的方法。深度学习是包括神经网络、人工智能、图形化建模、最优化、模式识别和信息处理的交叉领域,它今天之所以如此受欢迎,有三个重要原因:其一,芯片处理性能的巨大提升(比如,通用图形处理器);其二,用于训练的数据爆炸性增长;其三,近来,机器学习和信号/信息处理研究有了很大进展,这些都使深度学习方法可以有效利用复杂的非线性数和非线性的复合函数来学习分布和分层的特征表示,并且可以充分有效地利用标注和非标注的数据近年来活跃在机器学习领域的研究机构包括众多高校,比如多伦多大学纽约大学、加拿大蒙特利尔大学、斯坦福大学、加州大学伯克利分校、加州大学、伦敦大学学院、密歇根大学、麻省理工学院、华盛顿大学,还有一些企业,如微软研究院(从2009年开始)、谷歌(大概从2011年开始)、IM研究院(大概从2011年开始)、百度(从2012开始)、 Facebook(从2013年开始)、 IDIAP研究所、瑞土人工智能研究所等。参看网址:htp:/ deeplearn-ing. net/ deep-learning- research-groups-and-labs/这些研究机构将深度学习方法成功地用于计算机领域的众多应用中,其中包括:计算机视觉、语音识别、语音搜索、连续语音识别、语言与图像的特征Linux公社www.linuxidc.com1引言编码、语义话语分类、自然语言理解、手写识别、音频处理、信息检索、机器人学,甚至有一个关于分子生物学的研究指出在深度学习方法的引领下发现了新的药物237。本书在最后一部分列出了一些参考文献,如果需要了解这个领域的最新进展,推荐到以下网址获取.http://deeplearning.net/reading-list/.http://ufldl.stanfordedu/wiki/index.php/ufldl_recoMmendEdRendings.http://www.cs.torontoedu/-hinton/http://deeplearning.net/tutorial/.http://ufldl.stanfordedw/wiki/index.php/ufldl-_tutOriaL1.2本书的结构安排本书后续章节按照以下结构进行编排在第2章中,我们将简要对深度学习的历史加以回顾,主要从以下三个问题入手:第一,深度学习对语音识别技术有哪些影响。第二,这一重大科技革命是如何开始的。第三,它是如何获得并保持如此强大动力的。第3章讲述了深度学习中绝大多数研究所使用的三元分类法。其中包括有监督、无监督和混合深度学习网络。在分类任务中,混合深度学习网络利用无监督学习(或称为预训练)来辅助下一个阶段的监督学习。有监督和混合深度神经网络通常都具有同一类型的深度网络体系或结构,但是无监督深度网络的结构却往往不同。第4~6章分别集中介绍了深度结构的三种主流类型,这三种类型都来源于第3章中所提到的三元分类法。在第4章中,深度自编码器作为无监督深度学习网络的经典方法,我们将详细对其进行介绍并加以讨论。虽然其中巧妙地利用到了后向传播这样的监督学习算法,但是在学习的过程中并没有使用类别标签信息,而是将输入信号本身作为“监督”信号。第5章作为混合深度网络分类的主要实例讲解部分,详细介绍了这种用无监督生成式的预训练方法来提高监督训练效率的深度学习网络。在训练数据有限,并且没有其他合适的正则化方法(如 dropout)可利用的情况下,混合深度学习网络是很有用的。这种独特的预训练方法是以受限玻尔兹曼机和本章所要学习的深度学习网络为基础的,它开启了深度学习在语音识别和其他信息处理任务中的早期应用,具有很重要的历史意义。除了回顾综述以外,我们也讨论了混合深度学习网络的后续发展和近期出现的一些不同观点。Linux公社www.linuxidc.com6深度学习:方法及应用第6章详细讨论了基于三元分类法的判别式、有监督深度神经网络的一些具体实例—基本的深度堆叠式网络及其扩展。这类深度网络的工作原理与深度神经网络在很多方面都有所不同。需要特别指出的是,它们在建立宏观深度网络的层或模块时采用目标作为标签来简化学习算法。另外,深度网络中的部分假设,如模块中输岀单元呈线性的假设,也简化了网络的学习算法,使得我们可以构建和学习比第4章和第5章中网络更丰富的架构。第7~11章选取了一些深度学习在信号和信息处理各个领域中成功的典型应用。第7章回顾了深度学习在语音识别、语音合成和音频处理中的应用,文献综述中围绕语音识别这一主要议题的几个突出问题划分了几个小节。第8章主要介绍了深度学习在语言模型和自然语言处理中的最新应用成果,其中强调了将符号实体(如词语)转化为低维连续向量的最新进展。第9章主要集中于对深度学习在信息检索(包含网页搜索)中的突出应用的介绍。第10章涉及了深度学习在计算机视觉领域中有关图像目标识别的几大应用。这一章将深度学习的方法分为两大类:(1)无监督特征学习;(2)端对端的监督学习以及特征间的学习和分类。第11章主要介绍了深度学习在多模态处理和多任务学习中的几大应用。我们根据输入到深度学习系统中的多模态数据特征将其分为三类。对于语音、文本或图片的单模态数据,本文也回顾了基于深度学习方法的一些多任务学习研究最后,第12章对本书内容进行了总结,并对深度学习将面临的挑战和它的发展方向进行了讨论。本书内容精短,包括了几位作者提供的专题报告,一次是2011年10月APSIPA会议上的报告,另一次是2012年3月 ICASSP会议上的报告。另外,本书也根据领域内的进展,提供了大量更新到2014年1月的内容(包括在2013年12月举办的NIPS-2013和 EEE-ASRU-2013两次会议中的一些资料),这些内容主要集中于近几年快速发展的深度学习研究和技术的应用层面。Linux公社www.linuxidc.com深度学习的历史Linux公社www.linuxidc.com8深度学习:方法及应用以前,绝大多数机器学习和信号处理技术都利用浅层结构,这些结构一般包含最多一到两层的非线性特征变换,这种状况直到近几年才得以改变。浅层结构包括高斯混合模型(GMM)、线性或非线性动力系统、条件随机场(CRF)、最大熵模型( Max Ent)、支持向量机(sVM)、逻辑回归(LR)、核回归以及多层感知器(MIP)(包括极限学习器而且只包含一个隐层)。例如当使用核方法时,支持向量机就会使用一个只包含一个或零个特征转换层的浅层线性模式的分离模型(最近由深度学习发展而来的一些核方法尤其值得注意,请参见文献[9,53,102,377])。已经证明,浅层结构在解决很多简单的或者限制较多的问题上效果明显,但是由于其建模和表示能力有限,在遇到实际生活中一些更复杂的涉及自然信号(比如人类语音、自然声音和语言自然图像和视觉景色)的问题时就会遇到各种困难。然而,人类信息处理机制(比如视觉和听觉)总是需要深度结构从丰富的感官输入信息中提取复杂结构并构建内部表示。例如,由于人类语言的产出和感知系统都具有清晰的层结构,这就使得信息可以从波形层转换到语言层l,12n4,3。同理,人类视觉系统也有分层的特点,这些虽然基本都只是存在于感知层面,但有趣的是,有时候在产出时也有分层的特点4.13.23。我们应该相信,如果能提岀更高效且更有效的深度学习算法,那么用于处理这种自然信号的最前沿技术也将进一步得到提高。深度学习的概念起源于对人工神经网络的研究(所以有时候可能会听到新一代神经网络”的说法)。前馈神经网络或具有多隐层的多层感知器也叫做深度神经网络( Deep Neural Network)—是深度结构模型中很好的范例。反向传播算法(back- propagation)流行于20世纪80年代,是广为人知的种学习算法,在学习网络参数上很有用。遗憾的是,仅仅使用反向传播算法在实际学习隐层数目较少的网络时效果并不是很好209。在优化目标为非凸函数的深度神经网络中,来自局部最优化或其他最优化问题的挑战普遍存在,这些挑战通常是学习中面临的主要困难。反向传播算法基于局部梯度信息,并往往从一些随机的初始点开始,当使用批量梯度下降或随机梯度下降的反向传播算法时,目标函数经常会陷入局部最优的境地。随着网络层薮的加深,局部最优的情况也就会变得越来越严重。之所以出现上述问题,部分原因在于:我们虽然对小规模的神经网络的探究从未间断过42.4.3.16.21260,但是大多数机器学习和信号处理研究方向有所偏离,人们将重点从对神经网络的研究转移到对具有凸损失函数的浅层模型(例如,支持向量机、CRF和 Max Ent模型)的研究,这类模型以降低建模能力为代价,达到快速高效地收敛到全局最优化的目的,所以深层网络常陷入局部最优的问题还有待解决。2006年 Hinton在硏讨会上的两篇论文[163,164]中介绍了一种高效的Linux公社www.linuxidc.com2深度学习的历史9无监督学习算法,它们经验性地缓解了与深度模型相关的最优化难题。这两篇论文介绍了一类叫作深度置信网络( Deep belief Network,DBN)的深度亠生式模型。DBN是由一组受限玻尔兹曼机(RBMs)堆叠而成的,它的核心部分是贪婪的、逐层学习的算法,这种算法可以最优化深度置信网络的权重,它的时间复杂度与网络的大小和深度呈线性关系。使人意想不到的是,使用配置好的深度置信网络来初始化多层感知器的权重,常常会得到比随机初始化的方法更好的结果。包含多个隐层的多层感知器或深度神经网络,通过无监督的深度置信网络来进行预训练,然后通过反向传播微调来实现,在文献[67,260,258]中也称之为深度置信网络。最近,研究者对于DNN与DBN进行了更加细致的区分68,1,如果使用DBN去初始化DN的训练时,这种网络可以被称为DBN-DNN6l与受限玻尔兹曼机的发展相独立,在2006年,两个不同的、非概率的产生式的无监督的深度模型出现了。一个是自编码器的一种变体,使用与DBN训练相似的贪心分层进行训练。另一个是基于能量的模型,用稀疏的完备表示来进行非监督学习。与DBN相似,它们都可以对深度神经网络进行高效的预训练除了具有好的初始点,DBN还有一些颇具吸引力的优点:第一,它的学习算法可以有效使用未标注的数据;第二,它可以看作是一个概率生成模型;第三,对于经常出现在诸如DBN这样的含有数百万个参数的模型中的过拟合问题,以及经常出现在深度网络中的欠拟合问题,都可以通过产生式预训练方法得到有效解决29在DN中,多神经元隐层的使用不仅显著提高了DNN的建模能力,而且创造出了许多接近的最优配置。即使参数学习过程陷入局部最优,但由于出现欠佳的局部最优的概率比网络中应用少数神经元要低,所以最终的DNN仍然可以执行得很好。然而,在训练过程中使用深而宽的神经网络需要强大的计算性能,这也就解释了为什么直到最近几年研究人员才开始认真探索这种既深又宽的神经网络的问题。更好的学习算法和通常输入输出间存在不同的非线性关系也促使了DN的成功。随机梯度下降(SGD)算法在大多数训练集较大且冗余的情况下是最有效的算法。最近,研究证实随机梯度下降(SCD)可以有效地实现并行,种方法是通过异步模式使用多台机器,另一种方法是使用多GPU的流水线型的反向传播算法。此外,从单个或小批量样品中估计出的嘈杂梯度使得SGD通常能让训练跳出局部最优。其他学习算法如 Hessian free9323或Krylov subspace3N方法都表现出了类似的能力对于DN学习的高度非凸优化问题,由于优化是从初始模型开始的,所Linux公社www.linuxidc.com
