一、BackPropagation
wljkwjkl：表示第l−1l−1层第k个神经元到第ll层第j个神经元的连接权重；bljbjl：表示第ll层第j个神经元的偏置；zljzjl：表示第ll层第j个神经元的带权输入；aljajl：表示第ll层第j个神经元的激活值；σσ：表示一个激活函数(sigmoid,relu,tanh)； zlj=∑kwljkal−1k+bljzjl=∑kwjklakl−1+bjl alj=σ(∑kwljkal−1k+blj)=σ(zlj)ajl=σ(∑kwjklakl−1+bjl)=σ(zjl)向量化上面的公式：
al=θ(wlal−1+bl)=θ(zl)al=θ(wlal−1+bl)=θ(zl) L(W,b,x,y)：表示损失函数，其中y是正确值，x是输入，下面是二次方损失函数的计算； L(W,b,x,y)=12N∑N||y−al||2L(W,b,x,y)=12N∑N||y−al||2 阿达马（Hadamard）乘积，表示两个同维度向量a,b按元素相乘的结果向量，用a⊙ba⊙b表示。反向传播BP计算的目标：∂L∂wljk∂L∂wjkl和∂L∂blj∂L∂bjl，也就是L对所有参数的偏导数。δljδjl：表示第ll层第j个单元的残差。也就是∂L∂zlj∂L∂zjl。δLj=∂L∂aLjσ′(zLj)δjL=∂L∂ajLσ′(zjL)：表示顶层（输出层，假设是第L层）的残差，也就是损失函数对输出层的带权输入的偏导数。这个公式也可以进行向量化，为以下的形式： δL=▽aL⊙σ′(zL)δL=▽aL⊙σ′(zL) 当使用二次损失函数的时候，δl=(aL−y)⊙σ′(zL)δl=(aL−y)⊙σ′(zL)。使用上一层的残差表示当前层的残差： δl=((wl+1)Tδl+1)⊙σ′(zl)δl=((wl+1)Tδl+1)⊙σ′(zl) 最后，利用链式求导求出来的结果： ∂L∂wljk=∂L∂zlj∂zlj∂wljk=δljal−1k∂L∂wjkl=∂L∂zjl∂zjl∂wjkl=δjlakl−1 ∂L∂blj=∂L∂zlj∂zlj∂blj=δlj∂L∂bjl=∂L∂zjl∂zjl∂bjl=δjl
向量化以上的结果，得到：
∂L∂b=δ∂L∂b=δ ∂L∂w=ainδout∂L∂w=ainδout
二、RNN
RNN能够从之前的输入中映射出输出，具有一定程度的记忆能力，能够从之前的输入中存储网络的内部状态。有足够多隐藏单元的RNN能够模拟任何Sequence-to-Sequence的映射。1.RNN的forward pass
注：下面这段使用的符号和上面的符号定义又有些不同，没办法，下面这篇论文就是这么用的。
Graves A. Supervised Sequence Labelling with Recurrent Neural Networks[M]. Springer Berlin Heidelberg, .
一个I个输入单元、H个隐藏单元和K个输出单元的RNN，输入序列是xx，长度为TT,xtixit是输入单元ii在tt时刻的输入。对每一个隐藏单元h，其t时刻的带权输入值athaht如下所示，也就是本文第一章中的zthzht，(⊙o⊙)…好乱： ath=∑i=1IWihxti+∑h′=1HWh′hbt−1h′aht=∑i=1IWihxit+∑h′=1HWh′hbh′t−1 也就是，其带权输入值不仅与这一时刻的输入层单元值相关，还与上一时刻所有隐藏单元的激活值bt−1h′bh′t−1相关，而激活值计算如下所示，其中θhθh是激活函数（tanh,sigmoid,….），这里是一样的： bth=θh(ath)bht=θh(aht) 整个网络从t=1开始迭代，b0hbh0可以取全0，不过之后也有人提出，使用非0来初始化能够提高RNN的性能和稳定性。第k个输出单元t时刻的值按照下面的公式计算，就是每个隐藏单元激活值的连接，这里并没有引入偏置向量，不过可以认为是第0个单元，不影响： atk=∑h=1Hwhkbthakt=∑h=1Hwhkbht
2.RNN的Output层和损失函数
按照实际情况选择RNN输出层的激活函数(sigmoid,softmax)和损失函数(cross_entropy)。
RNN应用在时间序列分析。
3.RNN的backward pass
现在计算出cross_entropy损失函数L关于输出y的偏导数，下一步就是计算L关于权重的偏导数。
已经提出的两种算法，可以有效的计算RNN的权重偏导数
real time recurrent learning(RTRL,1987)backpropagation through time(BPTT,1990)
这里对BPTT进行介绍，因为它的思想更简单，而且计算效率更高。
BPTT也是通过链式法则的应用进行权值训练，但是对于递归神经网络，一个隐藏层单元激活值的影响不仅仅通过通往输出层的连接，还可以通过对下一时刻(timestep)隐藏层的影响。所以，残差δthδht的计算也应该包含这两条线路，如下所示：
δth=θ′(ath)(∑k=1Kδtkwhk+∑h′=1Hδt+1h′whh′)δht=θ′(aht)(∑k=1Kδktwhk+∑h′=1Hδh′t+1whh′)
这里的残差计算方式和第一章相同，δtj=∂L∂atjδjt=∂L∂ajt。其中a是带权输入。
这样从T开始计算，算到1，就可以得出∂L∂wij∂L∂wij，注意在这里整个网络在所有时刻使用的是同一权重。
4.双向RNN
BRNN，1997、1999年提出。能够使用输入序列当前时刻后面的内容作为上下文。使用两个隐藏层，一个从前往后一个从后向前，两个隐藏层互不连接。
前向过程
从1到T，前向隐藏层的前向过程，存储每个t的激活值。
从T到1，后向隐藏层的前向过程，存储每个t的激活值。
对于所有t，使用前两步计算的激活值，进行输出层的前向过程。
后向过程
对所有t，计算输出层的δδ值。
对T到1，利用δδ进行前向隐藏层的后向过程。
对1到T，利用δδ进行后向隐藏层的前向过程。
BRNN可以应用于像蛋白质结构预测（2001）、时间序列任务、自动听写等应用中。
5.序列雅克比矩阵（sequential Jacobian原谅我不知道它怎么翻译）
6.训练神经网络的一些tricks
梯度下降算法：批量vs在线，梯度下降、动量momentum 一些批量梯度下降算法：RPROP、quickprop、conjugate gradients、L-BFGS在线学习算法：stochastic meta-descent 泛化方式 early stopping输入增加高斯噪声权重增加高斯噪声 输入的表示，输入的标准化（把输入向量化为均值0，标准差1）很重要。权重的初始化，小而随机三、LSTM
1.网络结构
Memory Block(Memory Cell) 输入：xtxtinput gate输入门：ititoutput gate输出门：OtOtforget gate遗忘门：ftft细胞状态：CtCt单元激活值：htht盗个图过来吧，文字还是有点描述不清楚，以后别记不得了。
ft=σ(Wf⋅[ht−1,xt]+bf)ft=σ(Wf⋅[ht−1,xt]+bf) it=σ(Wi⋅[ht−1,xt]+bi)it=σ(Wi⋅[ht−1,xt]+bi) C~t=tanh(WC⋅[ht−1,xt]+bC)C~t=tanh(WC⋅[ht−1,xt]+bC) Ct=ft⋅Ct−1+it⋅C~tCt=ft⋅Ct−1+it⋅C~t Ot=σ(Wo⋅[ht−1,xt]+bo)Ot=σ(Wo⋅[ht−1,xt]+bo) ht=tanh(Ct)⋅Otht=tanh(Ct)⋅Ot
2.LSTM的变种和进一步研究
2000年，增加了窥视孔连接Peephole，所有或者部分公式中的$[h{t-1},x_t]替换为替换为[C{t-1},h_{t-1},x_t]$。配对了遗忘门和输入门，即it=1−ftit=1−ft。，Gated Recurrent Unit（GRU），合并了细胞状态和单元激活值，合并输入门和遗忘门为更新门，模型更加简单。Depth Gated RNNs, Clockwork RNNs等注意力机制、Grid LSTM等3.预处理
预处理能够通过采样减少输入序列的长度，从而使得LSTM能够更好的进行处理，上下文信息更少。
4.双向LSTM
5.LSTM的正向（激活）和反向（BPTT）过程
下面的过程都是带peephole的LSTM。输入公式还是不如手写方便，还是手写吧。。。
正向过程：反向过程：
6.参考
/ycheng_sjtu/article/details/48792467
原文地址： http://cairohy.github.io//11/23/machine-learning/BP-RNN-%E5%92%8C-LSTM%E6%9A%A8%E3%80%8ASupervised-Sequence-Labelling-with-Recurrent-Neural-Networks-%E3%80%8B%E9%98%85%E8%AF%BB%E7%AC%94%E8%AE%B0/
