极限学习机在回归拟合及分类问题中的应用研究——对比实验

单隐含层前馈神经网络（Single-hidden Layer Feedforward Neural Network，SLFN）以其良好的学习能力在许多领域中得到了广泛的应用。然而，传统的学习算法（如BP算法等）固有的一些缺点，成为制约其发展的主要瓶颈。前馈神经网络大多采用梯度下降方法，该方法主要存在以下几个方面的缺点和不足：（1）训练速度慢。由于梯度下降法需要多次迭代，从而达到修正权值和阈值的目的，因此训练过程耗时较长；（2）容易陷入局部极小点，无法达到全局最小；（3）学习率 的选择敏感。学习率 对神经网络的性能影响较大，必须选择合适的 ，才能获得较为理想的网络。若太小，则算法收敛速度很慢，训练过程耗时较长；反之，若 太大，则训练过程可能不稳定（收敛）。因此，探索一种训练速度快、获得全局最优解，且具有良好的泛化性能的训练算法是提升前馈神经网络性能的主要目标，也是近年来的研究热点和难点。本章将介绍一个针对SLFN的新算法——极限学习机（Extreme Learning Machine，ELM），该算法随机产生输入层与隐含层间的连接权值及隐含层神经元的阈值，且在训练过程中无需调整，只需要设置隐含层神经元的个数，便可以获得唯一的最优解。与传统的训练方法相比，该方法具有学习速度快、泛化性能好等优点。为了评价ELM的性能，试分别将ELM应用于基于近红外光谱的汽油辛烷值测定和鸢尾花种类识别两个问题中，并将其结果与传统前馈网络（BP、RBF、GRNN、PNN等）的性能和运行速度进行比较，并探讨隐含层神经元个数对

chapter29
classification
regression