机器学习

大四最后一门考试课，没复习完，把复习的部分写一个总结吧。

一、绪论：

1.<P、T、E>：（以下西洋跳棋为例）

T：任务（下西洋跳棋）
P：性能标准（比赛中击败对手的百分比）
E：依靠训练经验（和自己进行对弈）

2.机器学习定义：

寻找一种对自然/人工主题、现象或活动可预测且/或可执行的机器理解方法

3.机器学习设计方法：

选择训练经验
选择目标函数
选择目标函数的表示
选择函数逼近算法
最终设计

二、概念学习：

1.概念与概念学习：

概念：每个概念可被看作一个对象或事件集合，它是从更大的集合中选取的子集。

或者是在这个较大集合中定义的布尔函数（如从动物集合中定义的函数，它对鸟类产生TRUE并对其他动物产生了FALSE）

概念学习：概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数

2.概念学习任务：（X、H、c、D）

X：实例的集合，由各种属性值确定的元组
H：候选假设的集合
c：实例集合上的目标函数（概念）
D：训练样例的集合

候选假设：实例的各属性约束的合取式，每个约束可以是：

一个特定值，例如 Water*=*Warm
接受任意值，例如 *Water=*？
不接受任意值，例如 *Water=*Ø

3.Find-S:寻找极大特殊假设：

假设的偏序：

Find-S算法：

4.变型空间和候选消除算法：

变型空间：关于假设空间H和训练样例集D的变型空间，标记为$VS_{H,D}$ ，是H中与训练样例D一致的所有假设构成的子集

一致：一个假设 h 与训练样例集合D一致，当且仅当对D中每一个样例<x,c(x)> 都有 h(x)=c(x)

候选消除算法：

一般边界G：是在H中与D相一致的极大一般成员的集合
特殊边界S：是在H中与D相一致的极大特殊成员的集合

5.归纳偏置：

归纳偏置的定义：（断言：前提）

三、决策树学习：

1.决策树学习特点：

通过在树中从根结点到叶结点对实例进行排序从而实现分类
叶子结点提供分类
每个结点指定一种属性
每个分支都对应一个属性值

三个关键过程：

特征变量的选择，通过信息增益等方法来选择合适的分裂变量
决策树的生成，例如ID3, CART等算法提供了决策树的一套完整算法
决策树的剪枝，通过剪枝来避免过渡拟合，提升在未见数据上的预测效果

2.特征变量选择：

信息量：信息中包含信息量的大小与该消息所表达的事件发生概率有关，如果是必然事件（100%出现），则该消息所包含的信息量为0，如果不可能发生(或概率极低)，则该消息的信息量为无穷大。

信息熵：

信息增益：表示在知道某个特征之后使得的不确定性减少的程度

即：知道某个特征之前的熵与知道某个特征之后的熵的差

gain（D,A) = H(D) - H(D|A)

3.ID3算法：

四、神经网络学习：

1.感知器模型

2.感知器训练法则：

（1）感知器权重调整法则：（阈值化）

（2）Delta 法则：（非阈值化）

任务：:训练一个无阈值感知器（线性单元）
对训练样例拟合的训练误差指定一个度量
基本思想：使用梯度下降法搜索可能的权向量的假设空间，以找到最佳拟合训练实例的权值向量

梯度下降训练规则：

随机近似（SGD）：

GD法则对D中所有训练样例求和后计算权值更新，SGD根据每一个单独样例的误差增量计算权值更新，得到近似的梯度下降搜索

3.多层前馈神经网络：

4.反向传播算法/BP算法：

基本过程：

信号的前向传播阶段：在这个阶段，要求计算出隐含层和输出层中每一神经元的网络净输入和网络输出。
误差的逆向传播阶段：在这个阶段，要求计算出输出层和隐含层中每一神经元的误差。
权值和阈值的更新阶段：在这个阶段，要求更新所有连接权的权值和所有M-P神经元的阈值。

可能面临的问题：

结构学习问题、初始化问题、步长设置问题、权值与阈值的更新问题、过拟合问题

缓解过拟合问题的方法：

权值衰减、早停、正则化、交叉验证

五、贝叶斯学习：

贝叶斯法则：

- 贝叶斯公式：P(h|D)=P(D|h)P(h)/P(D)
- 极大后验(Maximum a posteriori, MAP)假设
- 极大似然假设