Basis

Discriminative & Generative Model

• 判别模型 Discriminative Model，又可以称为条件模型，或条件概率模型。估计的是条件概率分布(conditional distribution)
• 生成模型 Generative Model，又叫产生式模型。估计的是联合概率分布（joint probability distribution）

对于这两个模型，我们用一个例子就能很好的解释：假设我们有一些数据 $(x,y)$，数据只有四组：$(1,0), (1,0), (2,0), (2,1)$

Generative Model :

Discriminative Model :

PGM

概率图有这么几种推断方式

概率图的任务通俗的讲有两个

• Querying：给定或者不给定条件概率下，计算特定变量的概率称为：Inference
• Estimation：当模型某部分是未知的时候，通过数据 $D$ 来推断出未知的模型，这个称为：learning

Inference

Querying 任务通常来说有三种

Likelihood : Likelihood is calculated to get the conditional probability of a different subset of variables conditioned based on Evidence $\mathbf{E} = \{ X_{k+1},…,X_n \}$, Evidence is the unknown variables, so we need eliminate the unsure variables to get the specific lieklihood.

$$P(\mathbf{e}) = \sum_{x_1}\cdots \sum_{x_k} P(x_1,...,x_k,\mathbf{e})$$

Conditional Probability : The conditional probability distribution of some query nodes conditioned on an
evidence.

$$P(X|\mathbf{e}) = \frac{P(X,\mathbf{e})}{P(\mathbf{e})}= \frac{P(X,\mathbf{e})}{\sum_{x}P(X=x,\mathbf{e})}$$

Let $\mathbf{Y}$ be a subset of all domain variables $\mathbf{X} = \{ \mathbf{Y},\mathbf{Z} \}$, $\mathbf{Z}$ is the set of variables under elimination.

$$P(\mathbf{Y}|\mathbf{e}) = \sum_{z}P(\mathbf{Y},\mathbf{Z}=z|\mathbf{e})$$

Most Probable Assignment : In this query, we are interested in finding only one set of values for the query variables that maximize the given conditional probability instead of finding the entire distribution.

$$MPA(\mathbf{Y}|\mathbf{e})=\mathop{arg}\mathop{max}_{y\in \mathbf{Y}}P(y|\mathbf{e})=\mathop{arg}\mathop{max}_{y\in \mathbf{Y}}\sum_{z} P(y,z|\mathbf{e})$$

Inference 算法可以分为两种

• Exact inference（准确推断）

  • Elimination
  • Message-passing
    • sum-product
    • belief propagation
  • Junction Tree

• Approximate inference（近似推断）a

  • Variational algorithms
    • Loopy belief propagation
    • Mean field approximation

  一般 Inference 最简单的方法是 Elimination 和 brute force，但是由于概率图模型往往有一些比较特别的结构，我们可以用 Message Passing 的算法来做

---

Learning

根据观测数据，来推理模型中的参数

在做 inference 的时候，我们希望能将有向图和无向图结合起来，比如，原先的子节点的父节点们，我们希望将他们

---