侵权投诉
焊接机器人 喷涂机器人 搬运机器人 装配机器人 切割机器人 其它机器人
订阅
纠错
加入自媒体

如何实现模拟人类视觉注意力的循环神经网络?

2017-06-19 08:49
一分日元
关注

我们讲了半天,一个重要的概念没有讲,下面来讲讲循环神经网络RNN。

我们做卷积神经网络的时候样本的顺序并不受到关注,而对于自然语言处理,语音识别,手写字符识别来说,样本出现的时间顺序是非常重要的,RNNs出现的目的是来处理时间序列数据。

这个网络最直观的印象是什么呢,就是线多。在传统的神经网络模型中,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层的节点之间是无连接的。但是这种普通的神经网络对于很多问题却没有办法。例如,要预测句子的下一个单词,一般需要用到前面的单词,因为一个句子中前后单词并不是独立的。RNNs之所以称为循环神经网路,即一个序列当前的输出与前面的输出也有关,网络会对前面的信息进行记忆并应用于当前输出的计算中,具体的表现形式为即隐藏层之间的节点不再无连接而是有连接的,并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。理论上,RNNs能够对任何长度的序列数据进行处理。但是在实践中,为了降低复杂性往往假设当前的状态只与前面的几个状态相关,下图便是一个典型的RNNs:

如何实现模拟人类视觉注意力的循环神经网络?

如何实现模拟人类视觉注意力的循环神经网络?

T时刻的输出是该时刻的输入和所有历史共同的结果,这就达到了对时间序列建模的目的。RNN可以看成一个在时间上传递的神经网络,它的深度是时间的长度。对于t时刻来说,它产生的梯度在时间轴上向历史传播几层之后就消失了,根本就无法影响太遥远的过去。因此,之前说“所有历史”共同作用只是理想的情况,在实际中,这种影响也就只能维持若干个时间戳。

为了解决时间上的梯度消失,机器学习领域发展出了长短时记忆单元LSTM,通过门的开关实现时间上记忆功能,并防止梯度消失。

RNN还可以用在生成图像描述之中,用CNN网络做识别和分类,用RNN网络产生描述语句,这就是李飞飞的实验室所研究的内容。

<上一页  1  2  3  4  5  
声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号