概率估计

一、分布预测分类

我们在$KNN$算法中已经学习过了贝叶斯最优分类器：

$\begin{aligned} &如果我们已知分布P(X,Y),我们可以预测x的标签为概率最高的那个标签~label_x=\arg\max_{y}P(y|x) \end{aligned}$

如果我们可以根据训练集得到一个大致的分布P(X,Y)，则可以利用贝叶斯最优分类器进行分类，对分布进行预测的学习分为两类：

$\begin{aligned} &①生成学习：预测P(X,Y)=P(X|Y)P(Y)\\ &②判别学习：直接预测P(Y|X) \end{aligned}$

二、极大似然估计

Maximum Likelihood Estimation (MLE)

2.1 简单场景：掷硬币

我们投十次硬币，假设投掷结果为：$D=\{H, T, T, H, H, H, T, T, T, T\}$，则我们一般会进行以下预测：

$n_H=4,n_T=6,P(H)=\theta\approx\frac{n_H}{n_H+n_T}=0.4$

2.2 形式化定义

上述掷硬币的例子就是极大似然估计的过程，对于$MLE$，一般分为两步：
①对分布类型进行明确的建模假设
②设置分布中所涉及的参数

对于掷硬币问题的分布，我们易知这是一个经典的二项分布，他有两个参数：抛硬币次数$n$，某个事件（例如：硬币正面朝上）发生的概率$\theta$，我们不妨假设$~P(H)=\theta~$，则有：

$\begin{aligned} &P(D|\theta)=C^{n_H}_{n_H+n_T}\cdot \theta^{n_H}\cdot(1-\theta)^{n_T}\\ \end{aligned}$

$P(D|\theta)~$表示$\theta$为某个值时，抛硬币结果为$D$的概率，比如$D=\{H, T, T, H, H, H, T, T, T, T\}$

$MLE$的规则：对于固定的事件$D$，找到一个$\theta$使得$P(D|\theta)$最大：

$\begin{aligned} &\hat{\theta}_{MLE}=\underset{\theta}{argmax}~P(D|\theta)=\underset{\theta}{argmax}~C^{n_H}_{n_H+n_T}\cdot \theta^{n_H}\cdot(1-\theta)^{n_T}=\underset{\theta}{argmax}~(n_H\ln\theta+n_T\ln(1-\theta)) \end{aligned}$

我们对函数进行求导即可得到$\theta$的极大似然估计值：

$\begin{aligned} &令f(\theta)=n_H\ln\theta+n_T\ln(1-\theta)\\ &\frac{df(\theta)}{d\theta}=\frac{n_H}{\theta}-\frac{n_T}{1-\theta}=0\rightarrow \theta=\frac{n_H}{n_H+n_T},即\hat{\theta}_{MLE}=\frac{n_H}{n_H+n_T} \end{aligned}$

可以发现极大似然估计的预测结果与我们的直观预测相同，这就是$MLE$

三、先验估计

3.1 简单场景：掷硬币

我们仍可以用掷硬币的场景去理解先验估计：假设我们预感$\theta$接近$0.5$。但我们的样本量很小，所以我们对此估计并不确信，可以作如下处理：

$\hat{\theta}=\frac{n_H+m}{n_H+n_T+2m}$

当$n$很大时，该处理对$\theta$的影响微不足道；但是当$n$较小时，该处理可以使得$\theta$更接近我们的猜测。

3.2 形式化定义

假设$θ$是根据分布$P(θ)$得到的一个随机值，$D$为一个事件，则有如下贝叶斯公式：

$P(\theta|D)=\frac{P(D|\theta)P(\theta)}{P(D)}=\frac{P(D,\theta)}{P(D)}$

①$P(θ)$是我们在看到数据之前$θ$的先验分布
②$P(D|\theta)$是对于给定的参数$\theta$，事件$D$发生的可能性
③$P(\theta|D)$是我们观察数据后得到的$\theta$的后验分布

我们常常利用$Beta$分布得到$θ$的先验分布：

$P(\theta)=\frac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{B(\alpha,\beta)}\\ (其中B(\alpha,\beta)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)},其目的是对P(\theta)进行归一化)$

$P(\theta|D)\propto P(D|\theta)P(\theta)\propto\theta^{n_H+\alpha-1}(1-\theta)^{n_T+\beta-1}$

四、极大后验估计

在我们知道关于$\theta$的分布，可以利用极大后验估计得到$\theta$的估计值

$MAP$规则：对于一个固定的事件$D$，找到一个$\theta$，使得$P(\theta|D)$最大：

$\begin{aligned} &\hat\theta_{MAP}=\underset{\theta}{argmax}~P(\theta|D)=\underset{\theta}{argmax}~\frac{P(D|\theta)P(\theta)}{P(D)}=\underset{\theta}{argmax}~P(D|\theta)P(\theta)\\ &~~~~~~~~~~~=\underset{\theta}{argmax}~(\theta^{n_H+\alpha-1}(1-\theta)^{n_T+\beta-1})=\underset{\theta}{argmax}~(n_H+\alpha-1)\ln\theta+(n_T+\beta-1)\ln(1-\theta)\\ &~~~~~~~~~~~~=\frac{n_H+\alpha-1}{n_H+n_T+\alpha+\beta-2} \end{aligned}$

当$n\rightarrow\infty$时，$\alpha-1$和$\beta-2$与$n_H$和$n_T$相比可以忽略，即$\hat\theta_{MAP}\rightarrow\hat\theta_{MLE}$

五、总结

在监督学习中有一个数据集$D$，我们运用它来训练模型，它有一个参数 $θ$，利用这个模型我们希望对测试点$x_t$进行预测，则有如下方法：

$\begin{aligned} &MLE:P(y|x_t;\theta)~learning:\hat\theta_{MLE}=\arg\max_\theta P(D|\theta),此处的\theta为一个模型参数\\ &MAP:P(y|x_t,\theta)~learning:\hat\theta_{MAP}=\arg\max_\theta P(\theta|D)\propto P(D|\theta)P(\theta)，此处的\theta为随机变量\\ &True~Bayesian:P(y|x_t,\theta)=\int_\theta P(y|\theta)P(\theta|D)d\theta,此处的\theta是考虑所有可能模型积分出来的 \end{aligned}$