EM-Algorithm
PCA
数学角度：-
从数据中提取低维特征
一般通过 SVD 来计算
回顾一下 PCA
假设数据是中心化的：
在方向 v 上的任意投影也是中心化的，
我们希望数据之间能够越离散越好，相当于让投影后的方差最大：
\mathop{max}_v \sum{i=1}^n (v^T x_i)^2 \...
Continue reading...
EyEular
-
-
Neural machine translation by jointly learning to align and translate
seq2seq这篇论文可以看作是 sequence to sequence 论文的升级版，首先我们回顾一下 seq2seq 模型 h_t = f(x_t, h_{t-1}) 这里 f 可以是一个 LSTM c = q(\{ h_1,...,h_{T_x} \})这里 q 的运算可以是取最后一个 hidden state 我们的目标是最大化概率： p(y) = \pro... Continue reading... -
Attention is all you need
Backgrounnd传统的处理序列学习的任务，我们通常使用的是 RNN， Structureencoder-decoder Stacks最常用的序列生成模型用的都是 encoder-decoder 结构，attention 模型也不例外，不过不同于传统的 seq2seq 模型，attention 模型每次都是将所有的输入数据一起做的 encoding。还要指出的是，这里的 attenti... Continue reading... -
GPU-service-config
显卡 4 * 1080TI 下载 runfile 的 cuda 版本，deb 安装对于网络要求比较高，所以暂时忽略 cuda已经更新到了 10.0，但是可以在下面这个网站选取之前版本的 cuda。https://developer.nvidia.com/cuda-toolkit-archive 然后直接安装 cuda（cuda 里有自带显卡的驱动的） nouveau 禁用首先我们要禁用 n... Continue reading... -
IC-paper-1
Show Attend and Tell编码 Encoder输入是一张图片，输出是 caption，其中 caption 是长度为 C 的 K 维词向量 y = \{ \mathbf{y}_1,...,\mathbf{y}_C \}, \mathbf{y}_i \in R^K对于一张图片我们使用卷积神经网络来提取特征，总共提取 L 个特征向量，每一个都是 D 维的，对应这图像中的一部分 a ... Continue reading... -
Image-Caption-2
Image Caption：给定一张图片，生成和图片的文字描述 Image Retrieval：给定一个句子和一个图片的数据库，找到和句子最相关的那张图片 . Continue reading... -
Image-Caption-1
DataSetDataSet 分为 Single image generation 的 Image Caption DataSet Scale categories generations UIUC Pascal Sentence 1000 20 5 Flickr 8k 8000 - 5 Flickr 30k 8000 - 5 Microsoft CoCo 1200... Continue reading... -
RL2-MDP
Markov Process在 markov 决策过程中，环境是完全观测到的 基本上大多数的 RL 问题都是 MDP 的形式 Definition: markov process 是 S 是一个有限的状态集合 P 是状态转移矩阵 Markov Property_”The Future is independent of the past giv... Continue reading... -
R-CNN
R-CNNR-CNN 流程 对输入图片使用 select search 选择 2000 个区域 select search 有区域合并的操作 拉伸缩放图片到固定尺寸（227 * 227）传入 CNN 生成 4096 维的特征向量 对于特征用 SVM 预测每个类别（C+1，1是背景），通过 IoU 来打分 预测最大的判别为一类 最后对这些区域根据极大值抑制来合并和省略 对于每一个类，... Continue reading... -
RL1-introduction
RL 和传统的监督学习和无监督学习是有区别的，RL 没有 label 只有 reward 数据是有时序性的，也就是数据之间并不是独立的 数据只会对它后面的数据造成影响 比如一个棋局只会对后面的落子有影响，当前位置只会对后面的位置移动产生作用 RL 的方法可以分为 Model-free RL Model-based RL Reward一个 Reward 就是一个常数... Continue reading...