PRML Chapter3

曲线拟合的几种方法

最大似然估计MLE,最大后验概率MAP:MLE和MAP

MLE

给定一堆数据,假如我们知道它是从某一种分布中随机取出来的,可是我们并不知道这个分布具体的参,即“模型已定,参数未知”。最大化:

MAP

假如这个参数有一个先验概率,比如说,在抛硬币的例子中,假如我们的经验告诉我们,硬币一般都是匀称的,也就是μ=0.5的可能性最大,μ=0.2的可能性比较小,那么参数该怎么估计呢?这就是MAP要考虑的问题。 MAP优化的是一个后验概率,即给定了观测值后使概率最大: 把上式根据贝叶斯公式展开: 求导,得最值即可。

线性模型的概念

函数关于参数,而非输入变量input variable是线性的,则是线性模型。
如线性基函数模型linear basis function model:y(x,w)=wTφ(x)
其中,φ(x)(basis function)可以任意选择,而函数y(x,w)关于w始终是线性的,基函数可以的选择有:多项式polynomial,高斯函数Gaussian,sigmoid函数,Fourier basis,wavelets

Bayesian的模型复杂度理论:贝叶斯为何能够防止过拟合?

知乎关于该话题的讨论