Notations

训练集中，第 i 个输入序列中的第 t 个特征值/向量(feature)：$x^{(i) < t > }$,
该输入序列的长度(即 feature 的个数)： $T_x^{(i)}$,
对应的第 i 个输出序列中的第 t 个值： $y^{(i) < t > }$ ，对应的输出序列长度： $T_y^{(i)}$

$$x:\quad x^{ < 1 > } \quad x^{ < 2 > } \quad x^{ < 3 > } \cdots x^{ < t > } \cdots x^{ < T_x > }$$

简单模型

$$\begin{align}a^{ < 0 > } &= \mathbf{0} \\
a^{ < t > } &= g(W_{aa}a^{ < t-1 > }+W_{ax}x^{ < t > }+b_a) = g(W_a [a^{ < t -1 > },x^{ < t > }]+b_a),\quad (g = tanh\quad or ReLU) \\
\hat{y}^{ < t > } &= g(W_{ya}a^{< t > }+b_y),\quad (g = sigmoid \quad or\quad …)
\end{align}
$$
$$
\begin{align}\tilde{c} ^{ < t > } &= \mathrm{tanh}(W_c [ c^{ < t-1 > }, x^{ < t > } ] + b_c) \\
\Gamma _u &= \sigma (W_u [c^{ < t-1 > }, x^{ < t > } ]+b_u) \\
c^{ < t > } &= \Gamma _u \ast \tilde{c} ^{ < t > } + (1- \Gamma _u) \ast c^{ < t - 1 > }
\end{align}
$$