基于特征聚类的稀疏自编码快速算法

yoursilf

摘要:稀疏自编码网络在自然语言﹑图像处理等领域都取得了显著效果.已有的研究表明增加网络提取的特征个数可以优化稀疏自编码网络的处理效果,同时该操作将导致网络训练耗时过长.为尽可能减少网络的训练时间，本文提出了一种基于特征聚类的稀疏自编码快速算法.本算法首先根据K均值聚类最优数确定本质特征的个数,再由网络训练得到本质特征,并通过旋转扭曲增加特征的多样性,使网络处理效果得到提升的同时,减少网络训练耗间.实验在标准的手写体识别数据库MNIST和人脸数据库CMU-PIE上进行,结果表明本文所提算法能在保证网络正确率有所提升的同时,大幅度缩短网络训练耗时.
  [1 M4 c) e: T: }4 X4 @4 j
& [" H5 Y0 f/ L1 T) o关键词:深度学习;稀疏自编码器;特征提取;K均值聚类


       近年来,深度学习因其强大的信息处理能力成为学术界的研究热点.它起源于人工神经网络,并利用逐层自主学习思想,克服传统神经网络的梯度弥散问题,在图像处理、自然语言处理等多个领域取得巨大成功. Bengio提出用自编码器初始化每一层神经网络的想法,后Bengio和 Ranzato等人利用这种想法提出了稀疏自编码神经网络（ Sparse Auto-Encoder ,SAE),实现对数据的深层挖掘,进一步扩充深度神经网络的应用范围.稀疏自编码网络是目前应用最广泛的一类自编码网络,在病理图像分析、表情图像识别和高光谱图像分类等领域都取得了不错的表现。
; n2 A7 K% s2 x; S% D. z
! ^/ R6 h9 c$ q$ |

游客，如果您要查看本帖隐藏内容请回复

4 X0 u' k  o; u: k1 A, G


) Z# j; z1 S: N5 A8 R  h

starskyuu

深度学习的信息处理很强大