EyEular

Machine TranslationStatistical Machine Translation早期的机器翻译的方法是 SMT，S 代表 statistic 表示统计的意思，然后 14 年的时候，一切都变了。。。 Neural Machine TranslationNMT 降临了，吊打了 SMT，所以 SMT 我就不学啦，哈哈哈 Seq-to-Seq model传统的深度神经网络的输入... Continue reading...

CRF 可以看作是 logistics 回归的一个扩展 ModelingNotions $\mathbf{X}$: 我们观测到的输入变量 $\mathbf{Y}$: 我们待预测的输出变量 $\sum_{\mathbf{y} \setminus y_s}$: 在$y_s$ 给定的情况下，y 中所有其他变量的可能的取值的遍历 G & DClassificationClassificat... Continue reading...

信息熵：编码方案完美时，最短平均编码长度 交叉熵：编码方案不一定完美时，平均编码长度 相对熵：不同方案之间的差异性的衡量 信息论引用了熵（entropy）的概念，熵的概念在物理中十分常见，是用来衡量系统的混沌程度的，相应的在信息科学中，熵是用来衡量不确定性的，信息熵的本质是香农信息量 $log \frac{1}{p}$ 的期望 下面我们就来讲讲这三个熵到底有什么含义 首先我们通过一个例子... Continue reading...

Continue reading...

Language Model语言模型（Language Model） 语言模型是用来预测下一个出现的单词会是哪一个的，说的数学一些就是给定一个单词序列 $x^1,x^2,…,x^t$，来计算下一个单词 $x^{t+1}$ 的概率分布： P(x^{t+1}=w_j|x^1,x^2,...,x^t) 其中 $w_j$ 是单词 j 的词向量 我们将任务做一个简化，我们不去考虑离下一个词太远的词的... Continue reading...

概率的推断就是计算 conditional 和 marginal，之前我们学习了 exact inference 也就是准确的推断概率图概率，我们学习message passing 算法、sum-product、 inference is answer a query Approximate inference 就是对于 inference 的一个数值估计，不一定最后的结果要在 0-1 之... Continue reading...

Word VectorWord Vector 也就是词向量可以分为两种 Count Based：这种方法是通过统计完全局的信息最后来做特征提取 Direct Prediction：这种方法只选取来局部的统计，但是能够直接进行计算 有一种方法能够统一上面两种性质称为 GloVe 那么我们来介绍一下几种常见的方法 SVD CBOW SkipGram GloVe 词向量也就是把单词转换成... Continue reading...

神经学启发稀疏编码的概念来自于神经生物学。生物学家提出，哺乳类动物在长期的进化中，生成了能够快速，准确，低代价地表示自然图像的视觉神经方面的能力。我们直观地可以想象，我们的眼睛每看到的一副画面都是上亿像素的，而每一副图像我们都只用很少的代价重建与存储。我们把它叫做稀疏编码，即Sparse Coding。 从上可以看出稀疏编码的目的是：在大量的数据集中，选取很小部分作为元素来重建新的数据。 ... Continue reading...

The Exponential Familyrandom variable $\mathbf{X}$ is in the exponential family \begin{align} P(\mathbf{X}=x;\eta) &= h(x)\mathop{exp}\{ \eta^T\mathbf{T}(x) - A(\eta) \} \\ &= \frac{1}{Z(\eta)} h(x... Continue reading...

Variable Elimination某个确定了的概率图，它的推断可以看作是一个关于所有变量的函数，我们要求的是这个函数的具体值是多少，从概率的角度上消除变量，其实就是做这个函数的边缘化 marginalization，我们尽量争取每次计算(消除)的变量比较少，这样总的复杂度不会高。。Elimination 似乎可以适用于所有结构的 graph 。 Directed Chain假设我们... Continue reading...