第 2 章 机器学习基本理论

2.1 机器学习三要素

机器学习的方法一般主要由三部分构成：模型、策略和算法，可以认为：

机器学习方法 = 模型 + 策略 + 算法

• 模型（model）：总结数据的内在规律，用数学语言描述的参数系统
• 策略（strategy）：选取最优模型的评价准则
• 算法（algorithm）：选取最优模型的具体方法

2.2 机器学习方法分类

机器学习的方法种类繁多，并不存在一个统一的理论体系能够涵盖所有内容。从不同的角度，可以将机器学习的方法进行不同的分类：

• 通常分类：按照有无监督，机器学习可以分为 有监督学习、无监督学习 和 半监督学习，除此之外还有 强化学习。
• 按模型分类：根据模型性质，可以分为概率模型/非概率模型，线性/非线性模型等。
• 按学习技巧分类：根据算法基于的技巧，可以分为贝叶斯学习、核方法等。

各种类型的机器学习方法可以用下图汇总展示：

2.3 建模流程

我们可以以监督学习为例，考察一下机器学习的具体过程。

可以看到，机器学习是由数据驱动的，核心是利用数据来“训练模型”；模型训练的结果需要用一定的方法来进行评估、优化，最终得到一个成熟的学习模型；最后就可以用这个模型来进行预测和解决问题了。

总结监督学习建模的整体流程如下：