摘 要: | 1943年McCulloch和Pitts首先提出了神经元模型(MP模型)[1]。1958年到1962年,Rosenblatt在神经元模型的基础上添加了学习功能,提出了单层感知器网络模型[2-3],并将此模型应用到实践中,但是此模型解决不了线性不可分问题。到1986年,Rumelhart等人提出了反向传播网络模型(BP模型)[4],解决了之前单层感知器网络模型不能解决的问题。在20世纪末,支持向量机(SVM)[5]被提出,SVM属于浅层机器学习模型,并取得巨大成功。直到2006年Hinton等人[6]认为具有多隐藏层的深层神经网络有很好的特征学习能力,从而引起了深度学习的热潮。深度学习(deep learning)就是通过无监督学习的方法训练每一个隐层,并将上一层训练的数据传递给下一层再训练,最后通过有监督学习的方法(如BP算法)调整训练好的整个网络[7]。目前流行的深度学习模型有卷积神经网络(CNN)[8]、循环神经网络(RNN)[9]、深信念网络(DBN)[10]、深自动编码器网络(DAN)[11]等。
|