【机器学习与实现】机器学习概述

【机器学习与实现】机器学习概述

人工智能与机器学习、深度学习的关系

机器学习：

• 是目前实现人工智能的主流方法和技术。
• 机器学习——数据驱动的人工智能。

一、机器学习的基本概念和方法

（一）基本概念

从事例中学习（体现数据驱动）—— “事例” 即 “样本”。

• 统计学：由样本的统计量估计总体的参数。
• 机器学习：利用训练集进行建模和参数估计，利用测试集进行模型测试。

（二）机器学习的一般过程举例

问题：让机器（程序）自动识别一个物品是筷子or牙签。(注: 机器开始并没有筷子和牙签的任何知识)

1、第一步：收集一些筷子和牙签的样本。

2、第二步：特征选择，选择有区分度的特征。

、第三步：训练模型。

• 训练（training）：从数据中学得模型的过程称为学习（learning）或训练（training），这个过程通过制定某种策略和执行某个学习算法来完成。
• 训练过程中使用的数据称为训练数据（training data），其中每个样本称为一个训练样（training sample），训练样本组成的集合称为训练集（training set）。

模型：能否是其他？ 例如抛物线所有可能的模型的集合称为假设空间。

4、第四步：预测新实例。

• 学得模型后，使用其进行预测的过程称为测试（testing），被预测的样本称为测试集（testing sample）。
• 泛化能力（generalization）：学得模型适用于新样本的能力。

机器学习三要素：基于一定策略，通过合适的算法求得模型。

• 模型：考研（江海大or南大）
• 策略：求稳or更好的前景
• 算法：内外联动

（三）样本和参数估计

• 统计学中：样本是用来估计总体的参数。
• （统计）机器学习中：样本是用来训练模型和估计模型参数的。
• 对于参数估计来说：

二、机器学习的步骤总结

（一）机器学习的主要步骤

1. 收集相关样本
2. 提取特征
3. 将特征转换为数据（数据标准化）
4. 训练模型
5. 使用模型预测新实例

（二）样本及样本的划分

样本分为训练集、验证集和测试集。

• 为了防止训练出来的模型只对训练数据有效，一般将训练数据又分为训练集和验证集。
• 训练集用来训练模型，而验证集一般只用来验证模型的有效性，不参与模型训练。此外，验证集常用于调整模型的超参数。

（三）评估机器学习模型的效果

  训练模型的最终目的是提高模型在总体（含新样本）上的预测准确率，而不是在已知样本上的预测准确率。

为适应特殊样本而修改分类线为曲线：

两种分类线的预测准率对比：

泛化能力是评价机器学习模型优劣的最根本指标，然而，模型的训练通常以最小化训练误差为标准。对于固定数量的训练样本，随着训练的不断进行，训练误差会不断降低，甚至趋向于零。如果模型训练误差过小，就会使训练出来的模型基本上完全适应于训练样本。

（四）欠拟合、过拟合与泛化能力

1、欠拟合、过拟合示例

  模型在训练样本上产生的误差叫训练误差（training error）。在测试样本上产生的误差叫测试误差（test error）。

2、泛化能力与模型复杂度

  衡量模型好坏的是测试误差，它标志了模型对未知新实例的预测能力，因此一般追求的是测试误差最小的那个模型。模型对新实例的预测能力称为泛化能力，模型在新实例上的误差称为泛化误差。

  能够求解问题的模型往往不只一个。一般来说，只有合适复杂程度的模型才能最好地反映出训练集中蕴含的规律，取得最好的泛化能力。并非使用一个更复杂的模型就会更好。

、奥卡姆剃刀原理——大道至简

  奥卡姆剃刀（Occam’s Razor）原理：如果有两个性能相近的模型， 我们应该选择更简单的模型 ，通常简单的模型泛化能力更好 。

课程思政：

• 减少杂念，追求本真
• 活在当下：在合适的时间做该做的事情
• 不走极端、过犹不及

4、泛化能力评估方法

——留出法、K-折交叉验证

  将训练数据划分为训练集和验证集的方法称为留出法（holdout method），一般保留已知样本的20%到0%作为验证集。

  K-折交叉验证是将总样本集随机地划分为K个互不相交的子集。对于每个子集，将所有其它样本集作为训练集训练出模型，将该子集作为验证集，并记录验证集每一个样本的预测结果。这个方法将每一个样本都用来进行了验证，其评估的准确性一般要高于留出法。

三、机器学习的预处理环节

（一）数据预处理

  数据预处理是机器学习中繁琐枯燥但又是很重要的一个阶段。

为什么要进行数据预处理：

  获取到的原始样本数据往往会存在有缺失值、重复值等问题，在使用之前必须进行数据预处理。

数据预处理之前的样本：

数据预处理之后的样本：

（二）数据标准化

对于样本数据来说，首先需要消除特征之间不同量级的影响：

• 量纲的差异将导致数量级较大的属性占主导地位（例如身高1.75米，体重10斤）。
• 数量级的差异将导致迭代收敛速度减慢。
• 依赖于样本距离的算法对于数量级非常敏感。

1、常用的数据标准化方法

• min-max标准化（归一化）：映射到[0,1]区间 新数据 = (原数据 - 最小值) / (最大值 - 最小值)
• z-score标准化（规范化）：转换成标准正态分布 新数据 = (原数据 - 均值) / 标准差

2、标准化和归一化的选择

• 标准化：样本数据的分布要求服从正态分布。
• 归一化的缺点：对离值（outlier）很敏感，因为离点会影响max或min值；其次，当有新数据加入时，可能导致max和min值发生较大变化。

  而在标准化方法中，新数据加入对标准差和均值的影响并不大。归一化会改变数据的原始距离、分布，使得归一化后的数据分布呈现类圆形。优点是数据归一化后，最优解的寻过程会变得更平缓，更容易正确地收敛到最优解。

（三）数据的降维

  “维度” 就是指样本集征的个数，“降维” 指的是降低特征矩阵征的数量。维度灾难会导致分类器出现过拟合。这是因为在样本容量固定时，随着特征数量的增加，单位空间内的样本数量会变少。

  数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。因此，数据比模型更重要。

数据的降维方法：

  主成分分析（Principal Component Analysis，PCA）是最常用的一种降维方法，它试图到数据方差最大的方向进行投影。矩阵的主成分就是其协方差矩阵对应的特征向量，按照对应的特征值大小进行排序，最大的特征值就是第一主成分，其次是第二主成分，以此类推。

  假设有五个样本，两个维度的数据，那么这五个样本要从二维降维到一维，就图中的三条虚线，新的维度为哪一条最好？

  需要分别计算下在新的维度上的投影值，然后计算投影坐标值的方差，方差最大的就是最好的维度 （数据点更容易区分）。

四、机器学习的类型

（一）聚类模型、分类模型、回归模型

• 聚类（Clustering）模型用于将训练数据按照某种关系划分为多个簇，将关系相近的训练数据分在同一个簇中。
• 分类（Classification）是机器学习应用中最为广泛的任务，它用于将某个事物判定为属于预先设定的多个类别中的某一个。
• 回归（Regression）模型预测的不是属于哪一类，而是什么值，可以看作是将分类模型的类别数无限增加，即标签值不再只是几个离散的值了，而是连续的值。

（二）监督学习、无监督学习和半监督学习

• 监督学习处理的对象是所谓的有标签训练数据，它利用有标签的训练数据来学习一个模型，它的目标是用学到的模型给无标签的测试数据打上标签。
• 无监督学习的训练数据没有标签，它自动从训练数据中学习知识，建立模型。
• 半监督学习是监督学习和无监督学习相结合的一种学习方法。

五、机器学习的学习路线