极限学习机(Extreme Learning Machine, ELM)原理详解和MATLAB实现

baqiao

目录

引言

极限学习机原理

MATLAB中重点函数解读

2 U& g. @3 A8 s: f5 a

极限学习机的MATLAB实践

1 q2 _$ a8 S+ }; V- |

引言

极限学习机不是一个新的东西，只是在算法（方法）上有新的内容。在神经网络结构上，就是一个前向传播的神经网络，和之前几篇博文讲的意义。

9 N8 m0 m/ S9 g, k4 ^

9 b) c# c9 f5 A6 k9 k$ f7 R

为什么我们需要ELM？

The learning speed of feedforward neural networks is in general far slower than required and it has been a major bottleneck in their applications for past decades. Two key reasons behind may be:

" D3 P2 K! l8 c) r7 o1 m

1) the slow gradient-based learning algorithms are extensively used to train neural networks.

4 b1 Q7 `7 r9 y) n

2) all the parameters of the networks are tuned iteratively by using such learning algorithms.

6 {9 `  X; O2 U  O* i: `2 l; W

最大的创新点：

& _7 V  m) ~" L1 v) F0 T/ H. W& H& J, k

1）输入层和隐含层的连接权值、隐含层的阈值可以随机设定，且设定完后不用再调整。这和BP神经网络不一样，BP需要不断反向去调整权值和阈值。因此这里就能减少一半的运算量了。

7 L% t' r' S. |

2）隐含层和输出层之间的连接权值β不需要迭代调整，而是通过解方程组方式一次性确定。

0 Z+ }5 o5 X$ N* e  {4 U2 G

研究表明，通过这样的规则，模型的泛化性能很好，速度提高了不少。

+ E3 ~9 _# v/ a0 k: [+ U! _- s: l

一言概之，ELM最大的特点就是对于传统的神经网络，尤其是单隐层前馈神经网络(SLFNs)，在保证学习精度的前提下比传统的学习算法速度更快。

游客，如果您要查看本帖隐藏内容请回复

NingW

极限学习机(Extreme Learning Machine, ELM)原理详解和MATLAB实现