GRU相比于LSTM运算量小了许多,其中LSTM是SimpleRNN四倍,GRU是三倍。GRU只有更新门和重置门,其中更新门类似将遗忘门和输入门使用这一个门统一调控,重置门会将上一次的记忆重置后投入“信息门”使用。
文章图片
更新门
文章图片
使用更新门用以调控以往数据遗忘的比例和当下数据的输入比例
重置门
文章图片
重置门用来重置上一次的记忆,然后再投入到信息门中形成当下的信息。
整合
文章图片
其中
文章图片
类似LSTM中的遗忘门,
文章图片
类似LSTM中的输入门,这两个门同一由更新门调控。
【深度学习|【深度学习笔记整理-6.4】GRU】重置门用于重制上一次的记忆,与LSTM中的输出门并不类似,这里不必做强行类比。
推荐阅读
- C语言学习|第十一届蓝桥杯省赛 大学B组 C/C++ 第一场
- paddle|动手从头实现LSTM
- pytorch|使用pytorch从头实现多层LSTM
- 人工智能|干货!人体姿态估计与运动预测
- 推荐系统论文进阶|CTR预估 论文精读(十一)--Deep Interest Evolution Network(DIEN)
- Python专栏|数据分析的常规流程
- pytorch|YOLOX 阅读笔记
- Python|Win10下 Python开发环境搭建(PyCharm + Anaconda) && 环境变量配置 && 常用工具安装配置
- Python绘制小红花
- 读书笔记|《白话大数据和机器学习》学习笔记1