seq2seq

这篇论文可以看作是 sequence to sequence 论文的升级版，首先我们回顾一下 seq2seq 模型

$h_t = f(x_t, h_{t-1})$

这里 f 可以是一个 LSTM
$c = q(\{ h_1,...,h_{T_x} \})$
这里 q 的运算可以是取最后一个 hidden state $h_{T_x}$

我们的目标是最大化概率：

$p(y) = \prod_{t=1}^T p(y_t|\{ y_1,...,t_{t-1} \}. c)$

这里面的 c 对于每一个条件概率都是一样的

在 RNN 中，上面的条件概率可以写成是：

$p(y_t|\{ y_1,...,t_{t-1} \}. c) = g(y_{t-1}, s_t, c)$

这里面 s 是 RNN 中的 hidden state

Decoder

承接上面的我们先来研究 decoder，把 encoder 放到后面

在这篇论文中，我嗯的目标函数变成了：

$p(y) = \prod_{t=1}^T p(y_t|\{ y_1,...,t_{t-1} \}. c_i)$

条件概率是

$p(y_t|\{ y_1,...,t_{t-1} \}. c_i) = g(y_{t-1}, s_t, c_i)$

我们发现这里面的 $c_i$ 对于每一个 RNN 循环都是不同的，$c_i$ 其实是 encoder 每一层的加权

$c_i = \sum_{j=1}^{T_x} \alpha_{ij} h_j$

权重是通过 softmax 得到的

$\alpha_{ij} = \frac{exp(e_{ij})}{\sum_{k=1}^{T_x}exp(e_{ik}) }$

每一层的 encoder 中的 $h_j$ 对于第 i 层的 decoder 的影响可以下面公式来计算

$e_{ij} = a(s_{i-1}, h_j)$

论文里面 a 的计算方式为：

$a(s_{i-1}, h_j) = v^T_a tanh (W_a s_{i-1} + U_a h_j)$

正向做一遍 RNN 得到 $(\overrightarrow{h_1},…,\overrightarrow{h_T} )$

反向做一遍 RNN 得到 $(\overleftarrow{h_1},…,\overleftarrow{h_T} )$

最后将两个得到的 hidden state 每个对应的位置拼接起来，就形成了我们想要的结果：

$h_j = [\overrightarrow{h_1^T}; \overleftarrow{h_1^T}]^T$

这是最后将权重可视化以后的结果，高亮区域 (i,j) 表示，输出的 $j^{th}$ 单词的和输入的 $i^{th}$ 单词关系密切

Bahdanau, D., et al. (2014). “Neural machine translation by jointly learning to align and translate.” arXiv preprint arXiv:1409.0473.