MDP,马尔可夫决策

离散状态的马尔科夫决策

奖励因子r

在马尔科夫决策中,有个奖励因子r,在计算总期望价值的时候,奖励因子r的次方数会逐步增加。对于这个的解释可以理解为:今天的一元钱在明天一般都会贬值。所以当某个状态s较晚到达时,要控制奖励因子使得获得的价值减少。

Bellman方程

$$
V^{\pi} = R(s) + \gamma \sum_{s^{‘}\epsilon S } P_{s\pi(s)}(s^{‘})V^\pi (s^{‘})
$$

PCA,主成分分析

介绍

主方向的概念是什么?为什么降低维度的方法是使方差最大化?

  • 假设某两个特征之间成线性关系,在二维平面上的表示就是数据点呈线性分布,那么可以通过将数据在主方向上进行投影,得到一个一维的数据,这个一维的数据保留了原始数据大部分的信息.

高斯混合模型

高斯混合模型

  • 软分类算法,即对每一个样本,计算其属于各个分布的概率,概率值最大的就是这个样本所属的分类。
  • 对于训练样本的分布,看成为多个高斯分布加权得到的。其中每个高斯分布即为某一特定的类。

因子分析模型

协方差矩阵

协方差矩阵为对称矩阵。

在高斯分布中,方差越大,数据分布越分散,方差越小发,数据分布越集中。

在协方差矩阵中,假设矩阵为二维,若第二维的方差大于第一维的方差,则在图像上的体现就是:高斯分布呈现一个椭圆形,且主轴对应的就是方差大的第二维度。简而言之,若对角线元素相等,则高斯分布的图形是圆形,反之则分布图形为椭圆形。

应用机器学习的建议

偏差方差权衡

  • 使用较小的神经网络,类似于参数较少的情况,容易导致高偏差和欠拟合,但计算代价较小使用较大的神经网络,类似于参数较多的情况,容易导致高方差和过拟合,虽然计算代价比较大,但是可以通过归一化手段来调整而更加适应数据。

经验风险最小化

经验风险最小化

有限假设类情形

对于Chernoff bound 不等式,最直观的解释就是利用高斯分布的图象。而且这个结论和中心极限定律没有关系,当m为任意值时Chernoff bound均成立,但是中心极限定律不一定成立。

支持向量机

最大间隔分类器

函数间隔:$γ^{i} = y^{i}(w^{T} x + b)$,

改变w和b的量级,对分类结果不会产生任何影响,但是会改变函数间隔的大小。因此,直接对函数间隔求最大值是没有任何意义的。因为可以通过任意改变w、b的量级,使得函数间隔任意大。

基于朴素贝叶斯的中文多分类器

算法说明

  1. 为了便于计算类条件概率$P(x|c)$,朴素贝叶斯算法作了一个关键的假设:对已知类别,假设所有属性相互独立。
  2. 当使用训练完的特征向量对新样本进行测试时,由于概率是多个很小的相乘所得,可能会出现下溢出,故对乘积取自然对数解决这个问题。
  3. 在大多数朴素贝叶斯分类器中计算特征向量时采用的都是词集模型,即将每个词的出现与否作为一个特征。而在该分类器中采用的是词袋模型,即文档中每个词汇的出现次数作为一个特征。
  4. 当新样本中有某个词在原训练词中没有出现过,会使得概率为0,故使用拉普拉斯平滑处理技术解决这一问题。对应公式如下:

线性回归和逻辑回归

线性回归

批量梯度下降法

  • 每次对参数进行一次迭代时,都要扫描一遍输入全集
  • 算法可以收敛到局部最优值
  • 当迭代多次之后,每次迭代参数的改变越小
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×