EyEular

PCA 数学角度：- 从数据中提取低维特征 一般通过 SVD 来计算 回顾一下 PCA 假设数据是中心化的：$\sum_{i=1}^n x_i = 0$ 在方向 v 上的任意投影也是中心化的，$\sum_{i=1}^n v^T x_i = 0$ 我们希望数据之间能够越离散越好，相当于让投影后的方差最大： \mathop{max}_v \sum{i=1}^n (v^T x_i)^2 \... Continue reading...

seq2seq这篇论文可以看作是 sequence to sequence 论文的升级版，首先我们回顾一下 seq2seq 模型 h_t = f(x_t, h_{t-1}) 这里 f 可以是一个 LSTM c = q(\{ h_1,...,h_{T_x} \})这里 q 的运算可以是取最后一个 hidden state $h_{T_x}$ 我们的目标是最大化概率： p(y) = \pro... Continue reading...

Backgrounnd传统的处理序列学习的任务，我们通常使用的是 RNN， Structureencoder-decoder Stacks最常用的序列生成模型用的都是 encoder-decoder 结构，attention 模型也不例外，不过不同于传统的 seq2seq 模型，attention 模型每次都是将所有的输入数据一起做的 encoding。还要指出的是，这里的 attenti... Continue reading...

显卡 4 * 1080TI 下载 runfile 的 cuda 版本，deb 安装对于网络要求比较高，所以暂时忽略 cuda已经更新到了 10.0，但是可以在下面这个网站选取之前版本的 cuda。https://developer.nvidia.com/cuda-toolkit-archive 然后直接安装 cuda（cuda 里有自带显卡的驱动的） nouveau 禁用首先我们要禁用 n... Continue reading...

Show Attend and Tell编码 Encoder输入是一张图片，输出是 caption，其中 caption 是长度为 C 的 K 维词向量 y = \{ \mathbf{y}_1,...,\mathbf{y}_C \}, \mathbf{y}_i \in R^K对于一张图片我们使用卷积神经网络来提取特征，总共提取 L 个特征向量，每一个都是 D 维的，对应这图像中的一部分 a ... Continue reading...

Image Caption：给定一张图片，生成和图片的文字描述 Image Retrieval：给定一个句子和一个图片的数据库，找到和句子最相关的那张图片 . Continue reading...

DataSetDataSet 分为 Single image generation 的 Image Caption DataSet Scale categories generations UIUC Pascal Sentence 1000 20 5 Flickr 8k 8000 - 5 Flickr 30k 8000 - 5 Microsoft CoCo 1200... Continue reading...

Markov Process在 markov 决策过程中，环境是完全观测到的 基本上大多数的 RL 问题都是 MDP 的形式 Definition: markov process 是 $\langle S,P \rangle$ S 是一个有限的状态集合 P 是状态转移矩阵 Markov Property_”The Future is independent of the past giv... Continue reading...

R-CNNR-CNN 流程 对输入图片使用 select search 选择 2000 个区域 select search 有区域合并的操作 拉伸缩放图片到固定尺寸（227 * 227）传入 CNN 生成 4096 维的特征向量 对于特征用 SVM 预测每个类别（C+1，1是背景），通过 IoU 来打分 预测最大的判别为一类 最后对这些区域根据极大值抑制来合并和省略 对于每一个类，... Continue reading...

RL 和传统的监督学习和无监督学习是有区别的，RL 没有 label 只有 reward 数据是有时序性的，也就是数据之间并不是独立的 数据只会对它后面的数据造成影响 比如一个棋局只会对后面的落子有影响，当前位置只会对后面的位置移动产生作用 RL 的方法可以分为 Model-free RL Model-based RL Reward一个 Reward $R_t$ 就是一个常数... Continue reading...