深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

人工智能136

本文是深度学习入门: 基于Python的实现、神经网络与深度学习(NNDL)以及动手学深度学习的读书笔记。本文将介绍基于Numpy的循环神经网络的前向传播和反向传播实现,包括RNN和LSTM。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

一、概述

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

1.1 循环神经网络(RNN)

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
循环神经网络(Recurrent Neural Networks, RNN)是一类具有短期记忆能力的神经网络,其特点是在处理序列数据时,能够记录历史信息。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
RNN通常按时间展开其计算图以便于理解其计算过程,具体如上图所示。在后文中,本文用RNN代指简单的循环神经网络。理论上,一个完全连接的循环网络是任何非线性动力系统的近似器。 RNN可以处理任意长的序列。但是在实际中,简单的RNN通常会面临 梯度消失和梯度爆炸问题,使其不能建模好序列的长期依赖。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
具体地,RNN是一个非常简单的循环神经网络,它是只有一个隐藏层的神经网络。RNN在时刻(t)的更新公式如下所示:(\mathbf{h}t = \tanh \left( \mathbf{h}{t-1}\mathbf{W}{\text{h}} + \mathbf{x}_t \mathbf{W}{\text{x}} + \mathbf{b} \right)) 其中,向量(\mathbf{h}t \in \mathbb{R}^{1 \times d})为RNN的隐藏状态,而(\mathbf{x}_t \in \mathbb{R}^{1 \times m})是网络在时刻(t)的输入,则(\mathbf{h}_t)不仅和当前时刻的输入(\mathbf{x}_t)相关,也和上一个时刻的隐藏状态(\mathbf{h}{t-1})相关。此外,(\mathbf{W}{\text{h}} \in \mathbb{R}^{d \times d})和(\mathbf{W}{\text{x}} \in \mathbb{R}^{m \times d})分别表示状态-状态权重矩阵和状态-输入权重矩阵。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
在这里,RNN可被进一步表示为(\mathbf{h}t = \tanh \left( \mathbf{z}{t} \right)),其中(\mathbf{z}t)为RNN在时刻(t)的净输入,有(\mathbf{z}_t = \mathbf{h}{t-1}\mathbf{W}{\text{h}} + \mathbf{x}_t \mathbf{W}{\text{x}} +\mathbf{b})。注意,本文为了便于编程实现,将向量均表示为行向量。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

1.2 RNN的应用

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
RNN可以应用到很多不同类型的机器学习任务。根据这些任务的特点,其主要可被分为: 序列到类别模式、序列到序列模式
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

1.2.1 序列到类别

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
序列到类别模式主要用于输入为序列、输出为类别的序列数据的分类问题,例如时间序列分类、文本分类。比如在文本分类中,输入数据为单词序列,输出为该文本的类别。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
具体地,有:(\mathbf{s} = \operatorname{Pooling} \big( \mathbf{h}{1} , \mathbf{h}{2}, \ldots,\mathbf{h}_{T}\big))其中,汇聚操作可使用平均或注意力机制。然后,我们可将序列的最终表示(\mathbf{s})送入简单的线性层或多层前馈神经网络(Feed Forward Network,FFN)用于分类。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

1.2.2 序列到序列

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
序列到序列(Sequence-to-Sequence)可分为 同步的序列到序列异步的序列到序列
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
同步的序列到序列模式 主要用于序列标注(Sequence Labeling)任务,即每一时刻都有输入和输出,输入序列和输出序列的长度相同。其具体应用有,视频分类、词性标注等。比如,在词性标注(Part-of-Speech Tagging)中,每一个单词都需要标注其对应的词性标签。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
异步的序列到序列模式也称为编码器-解码器(Encoder-Decoder)模型,即输入序列和输出序列不需要有严格的对应关系,也不需要保持相同的长度。其具体应用有,文本摘要、图像理解(Image Caption)、问答系统(Question Answering system)、机器翻译等。比如在机器翻译中,输入为源语言的单词序列,输出为目标语言的单词序列。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

1.3 模型学习

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
RNN的参数可以通过梯度下降方法,例如SGD,来进行学习。以同步的序列到序列模式为例,给定一个训练样本((\mathbf{X}, \mathbf{y})),其中(\mathbf{y} \in \mathbb{R}^{1 \times T})是长度为(T)的标签序列。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
RNN的参数关于某一时间步(t)的损失(L_t)(交叉熵损失),那么整个序列的损失函数为(L=\sum_{i=1}^{T} L_t) 。整个序列的损失函数(L)关于参数的梯度为:(\frac{\partial L} {\partial \mathbf{W}h}=\sum{t=1}^{T} \frac{\partial L_t} {\partial \mathbf{W}_h})即每个时刻损失(L_t)对参数(\mathbf{W}_h)的偏导数之和。由于,RNN存在循环的计算过程,其计算梯度的方式和FFN不同。通常,需展开其计算图,然后按时间来进行梯度反向传播(Backpropagation Through Time,BPTT)。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

1.3.1 按时间反向传播BPTT

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
如上图所示,将循环展开后的RNN可使用反向传播。换句话说,可通过先进行正向传播,再进行反向传播的方式求目标梯度(直观地,只需要从损失开始,将其梯度不断反向传播回去,已求解各个参数的梯度)。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
以时间步t时的损失为例,参数将是各个时间步t时的损失之和。具体地,考虑时间步t时的损失, 参数的梯度是参数在 所有的 时间步 的梯度之和
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

1.3.1 截断BPTT

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
尽管通过BPTT,RNN的学习似乎可以进行,但在这之前还有一个须解决的问题,那就是学习长时序数据的问题。因为随着时序数据的时间跨度的增大,BPTT 消耗的计算机资源也会成比例地增大。另外,反向传播的梯度也会变得不稳定。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

二、RNN实现

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

2.1 简单RNN

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
这里以RNN用于语言模型为例(RNNLM),其试图建模马尔科夫链对应的条件概率分布。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
```python;collapse:true;;gutter:true;
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
def forward(self, xs):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
N, T = xs.shape
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
V, D = self.W.shape
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
self.layers = []
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
for t in range(T):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
layer = Embedding(self.W)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
out[:, t, :] = layer.forward(xs[:, t])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
self.layers.append(layer)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
return out
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
def backward(self, dout):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
N, T, D = dout.shape
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
grad = 0
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
for t in range(T):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
layer = self.layers[t]
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
layer.backward(dout[:, t, :])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
grad += layer.grads[0]
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
for t in range(T):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
layer = RNN(*self.params)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
self.h = layer.forward(xs[:, t, :], self.h)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
hs[:, t, :] = self.h
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
self.layers.append(layer)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
return hs
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
def backward(self, dhs):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
Wx, Wh, b = self.params
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
N, T, H = dhs.shape
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
D, H = Wx.shape
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
dh = 0
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
grads = [0, 0, 0]
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
for t in reversed(range(T)):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
layer = self.layers[t]
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
dx, dh = layer.backward(dhs[:, t, :] + dh)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
dxs[:, t, :] = dx
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
for i, grad in enumerate(layer.grads):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
grads[i] += grad
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
for i, grad in enumerate(grads):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
self.grads[i][...] = grad
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
self.dh = dh
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
return dxs
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
def set_state(self, h):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
self.h = h
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
def reset_state(self):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
self.h = None
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
基于RNN搭建语言模型
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
```python;collapse:true;;gutter:true;
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
def forward(self, x):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    N, T, D = x.shape
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    W, b = self.params
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    rx = x.reshape(N*T, -1)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    out = np.dot(rx, W) + b
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    self.x = x
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    return out.reshape(N, T, -1)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
def backward(self, dout):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    x = self.x
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    N, T, D = x.shape
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    W, b = self.params
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    dout = dout.reshape(N*T, -1)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    rx = x.reshape(N*T, -1)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    db = np.sum(dout, axis=0)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    dW = np.dot(rx.T, dout)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    dx = np.dot(dout, W.T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    dx = dx.reshape(*x.shape)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    self.grads[0][...] = dW
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    self.grads[1][...] = db
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    return dx
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    # 初始化权重
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    embed_W = (rn(V, D) / 100).astype('f')
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    rnn_Wx = (rn(D, H) / np.sqrt(D)).astype('f')
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    rnn_Wh = (rn(H, H) / np.sqrt(H)).astype('f')
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    rnn_b = np.zeros(H).astype('f')
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    affine_W = (rn(H, V) / np.sqrt(H)).astype('f')
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    affine_b = np.zeros(V).astype('f')
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    # 生成层
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    self.layers = [
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
        TimeEmbedding(embed_W),
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
        TimeRNN(rnn_Wx, rnn_Wh, rnn_b, stateful=True),
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
        TimeAffine(affine_W, affine_b)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    ]
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    self.loss_layer = TimeSoftmaxWithLoss()
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    self.rnn_layer = self.layers[1]
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    # 将所有的权重和梯度整理到列表中
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    self.params, self.grads = [], []
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    for layer in self.layers:
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
        self.params += layer.params
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
        self.grads += layer.grads
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
def forward(self, xs, ts):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    for layer in self.layers:
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
        xs = layer.forward(xs)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    loss = self.loss_layer.forward(xs, ts)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    return loss
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
def backward(self, dout=1):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    dout = self.loss_layer.backward(dout)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    for layer in reversed(self.layers):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
        dout = layer.backward(dout)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    return dout
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
def reset_state(self):
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
    self.rnn_layer.reset_state()
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/=[mathbf{x}_{1})
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/ldots,mathbf{x}_{T}])
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/mathbb{R}^{T)
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m}\)

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

三、RNN的问题和解决思路

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
RNN 的特点在于使用了上一时刻的隐藏状态,由此,RNN 可以继承过去的信息。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
RNN单元的计算图如上所示。RNN 层的正向传播进行的计算由 矩阵乘积矩阵加法基于激活函数tanh的变换构成。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

3.1 梯度消失和梯度爆炸

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
语言模型的任务是根据已经出现的单词预测下一个将要出现的单词。借着探讨 RNNLM问题的机会,我们再来考虑一下图 6-3 所示的任务。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
站在RNNLM进行学习的角度来考虑上述问题。在正确解标签为Tom时,RNNLM中的梯度是如何传播的呢?这里我们使用 BPTT进行学习,因此梯度将从正确解标签 Tom 出现的地方向过去的方向传播。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
通过将这些信息向过去传递,RNN 层学习长期的依赖关系。但是,如果这个梯度在中途变弱(甚至没有包含任何信息),则权重参数将不会被更新。也就是说,RNN 层无法学习长期的依赖关系( 当前时刻参数的梯度只由局部时间步的回传的梯度决定,长范围的梯度信号很微弱)。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
换句话说,随着梯度的回传,距离当前时间步损失越远的输入或隐状态对参数的梯度的贡献越小(梯度信号弱),它对模型学习的影响也微弱。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
相反,如果梯度过大,则难以正常学习
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

3.2 梯度消失和梯度爆炸的原因

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
如上图所示, 这里考虑长度为 T 的时序数据,关注从第 T 个正确解标签传递出的梯度如何变化。就上面的问题来说,这相当于第 T 个正确解标签是 Tom 的情形。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
先来看一下 tanh。此时,将 y = tanh(x) 的值(实线)及其导数的值(虚线)分别画在图上。从上图可以看出,它的值小于1.0,并且随着 x 远离 0,它的值在变小。这意味着,当反向传播的梯度经过tanh 节点时,它的值会越来越小。因此,如果经过 tanh 函数 T 次,则梯度也会减小 T 次。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
接下来,关注图 6-5 中的 MatMul(矩阵乘积)节点。简单起见,这里tanh 节点。如此一来,如图所示,RNN 层的反向传播的梯度就仅取决于 MatMul 运算。在上图中,假定从上游传来梯度 dh,此时 MatMul 节点的反向传播通过矩阵乘积 dhWhT 计算梯度。之后,根据时序数据的时间步长,将这个计算重复相应次数。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
需注意的是,每一次矩阵乘积计算都使用相同的权重 Wh。那么,反向传播时梯度的值通过 MatMul 节点时会呈指数级增加,或者呈指数级减小。因为矩阵 Wh 被反复乘了 T 次。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
如果 Wh 是标量,则问题将很简单:当 Wh 大于 1 时,梯度呈指数级增加;当 Wh小于 1 时,梯度呈指数级减小。那么,如果 Wh 不是标量,而是矩阵呢?此时,矩阵的谱半径将成为指标。简单而言,矩阵的谱半径(最大的特征值,表明矩阵是否收敛)表示数据的离散程度。根据这个谱半径是否大于 1,可以预测梯度大小的变化(这是必要条件,并非充分条件)。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

3.3 LSTM

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
在面临梯度消失或梯度爆炸时(梯度爆炸可以通过梯度裁剪,主要还是梯度消失问题),RNN难以学习长期依赖关系。为此,长短期记忆网络LSTM引入了门控RNN来缓解梯度消失问题。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
LSTM是为了缓解RNN在处理长序列时会面临梯度消失提出了用门控网络来控制信息的流动。LSTM引入了基于门控机制的输入门、输出门和遗忘门,且相比RNN多了一个外部记忆单元Cell Memory。 其中记忆单元的计算采用了哈达玛 (Hadamard)积。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
可以通过观察记忆单元 c 的反向传播来了解LSTM 缓解梯度消失的原因。 (哈达玛积)计算使得LSTM 的反向传播进行的不是矩阵乘积计算,而是 对应元素乘积(偏导数为恒等矩阵),而且每次都会基于不同的门值进行对应元素的乘积计算。这就是它不会发生梯度消失(或梯度爆炸)的原因。
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})

 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
![ 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20221220/m})
总结,LTSM通过基于 哈达玛积的门控机制的记忆单元,构建了一条可以无障碍进行梯度回传的通道,从而能缓解梯度消失。

Original: https://www.cnblogs.com/justLittleStar/p/16382874.html
Author: LeonYi
Title: 深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练



相关阅读

Title: 目标检测中的BBox 回归损失函数-L2,smooth L1,IoU,GIoU,DIoU,CIoU,Focal-EIoU,Alpha-IoU,SIoU

目标检测的两个任务,分类和位置回归,本帖将经典的位置回归损失函数总结如下,按发表时间顺序。

L1、L2、smooth L1 loss

提出smooth L1 loss的论文:
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

L1最低点是不可导的,所以势必不会收敛到最低点,可能会在最优解附近震荡。而L2损失容易在离群点产生梯度爆炸的问题。smooth L1则集两者的优点于一身。
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

; IoU loss

提出IoU loss的论文:深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

不论是L2还是smooth L1 loss都没有考虑到 四个点的关联性尺度不变性,这个是比较致命的缺点,当两对预测框与GT框的IoU相同时,尺度更大那一对loss会更高,或者如下图,用左下角和右上角点计算损失,L2 loss相同,但IoU却不相同。
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
IoU损失有两种形式,后一种更为常用:
L I o U = − l n I o U L_{IoU} = -lnIoU L I o U ​=−l n I o U
L I o U = 1 − I o U L_{IoU} = 1-IoU L I o U ​=1 −I o U
这样,BBox回归问题的评价指标和优化指标已经重叠统一了。

GIoU loss

提出GIoU loss 的论文:
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
IoU loss 最大的缺点就是两个框不相交时IoU横为0,损失恒为1,没法提供优化的梯度。
如下图(图来自CHEN ;), 右图的loss应该更小才对,但IoU loss却是相同的。
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

GIoU引入了一个最小闭包区的概念,即能将预测框和真实框包裹住的最小矩形框,其中,A c A_c A c ​ 为最小闭包区,u u u为预测框和真实框的并集,那么GIoU第二项的分子就是上图中白色区域,白色区域比最小闭包区的值越高,loss越高。
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

DIoU loss

深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
上图中三种情况下IoU和GIoU的loss均为0.75,但显然第三种情况应该是更好的预测结果,而DIoU loss就可以更精确地表示这些情况,其计算公式如下式,相比IoU损失多了一项惩罚项,是
[ 两个框中心点的欧式距离 最小闭包矩形对角线长度 ] 2 [{\frac{两个框中心点的欧式距离}{最小闭包矩形对角线长度}}]^2 [最小闭包矩形对角线长度两个框中心点的欧式距离​]2
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

DIoU还有如下的优势:

  • 因为DIoU直接最小化两个框的距离,所以收敛得比GIoU快很多,如下图示。尤其是在两个框的相对方向是垂直或水平时。
  • 作为NMS的评价指标时能获得更好的效果。
    深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

; CIoU loss(Complete IoU Loss)

与DIoU loss出自同一篇文章
作者认为,好的IoU损失应该考虑三个因素:

  1. 相交的面积
  2. 中心点距离
  3. 长宽比

而IoU和GIoU loss只考虑了第一个因素,DIoU loss多考虑了第二个因素。
作者又提出了CIoU loss,可以更精确衡量两个框的重合度和相似度,比DIoU多了一个长宽比的惩罚项v v v
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

作者通过实验表明,CIoU相比其他IoU损失取得了更好的实验结果。

Focal-EIoU loss

深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
这个损失我看知乎上大家评论不是很好啊,自己也还没细看,挖个坑。
文中第三章对IoU,GIoU,CIoU损失的缺点做了一下总结,。而
本文提出的新损失是基于CIoU的,CIoU定义如下:
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
作者认为CIoU loss有以下两个缺点:

  • 如果预测框和gt框的长宽比是相同的,那么长宽比的惩罚项恒为0,作者认为不合理
  • 观察CIoU中w,h相对于v的梯度,发现这两个梯度是一对相反数,也就是说,w和h不能同时增大或减小,这显然是不够合理的。
    针对上述问题,作者对于长宽比的惩罚项进行了替换,形成了EIoU,如下式:深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
    其中,C w , C h C_{w},C_{h}C w ​,C h ​是最小闭包的w和h。
    深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练

; Alpha IoU

深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
简单说就是对IoU loss家族做了幂次运算,如下图的公式。

深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
如上图,alpha-IoU可以通过自适应地提高高IoU对象的损失和梯度来提高BBox回归精度,而且对小数据集和噪声BBox提供了更好的稳健性。

SIoU(SCYLLA-IoU) loss

深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
作者认为以前的IoU损失都没有考虑角度问题,但是方向框的角度确实可以影响回归,因此提出SIoU loss,其中SIoU使用4组cost组成见下

  1. 角度损失
  2. 距离损失
  3. 形状损失
  4. IoU损失
    依次分开来看:
  5. 角度损失
    深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
    深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
    深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
    深度学习基础-基于Numpy的循环神经网络(RNN)实现和反向传播训练
    未完待续。。。

Original: https://blog.csdn.net/kill2013110/article/details/125589078
Author: cartes1us
Title: 目标检测中的BBox 回归损失函数-L2,smooth L1,IoU,GIoU,DIoU,CIoU,Focal-EIoU,Alpha-IoU,SIoU