近期，在B站看到清华大学教授马教授录制的统计学习方法感觉获益良多。之前也看过李航老师的《统计学习方法》有点晦涩难懂，当然这并不是书本的问题，而是我作为本科生在知识深度的掌握上很欠缺引起的。

一、统计学习方法与人工智能

首先了解人工智能的三起三落：

1
2
3
4
5
6
7
8
9
第一次兴盛期：1958 年，美国心理学家 Frank Rosenblatt 提出了第一个可以自动学习权重的神经元模型，一般认为 1943 年~1969 年为人工智能发展的第一次兴盛期。

第一次寒冬：1969 年，美国科学家 Marvin Minsky 等人在出版的《Perceptrons》一书中指出了感知机等线性模型的主要缺陷，即无法处理简单的异或 XOR 等线性不可分问题。这直接导致了以感知机为代表的神经网络的相关研究进入了低谷期，一般认为 1969 年~1982 年为人工智能发展的第一次寒冬。

第二次兴盛期：1982 年，随着 John Hopfild 的循环连接的 Hopfield 网络的提出，开启了 1982 年~1995年的第二次人工智能复兴的大潮，这段期间相继提出了卷积神经网络、循环神经网络、反向传播算法等算法模型。1997 年，现在应用最为广泛的循环神经网络变种之一 LSTM 被 Jürgen Schmidhuber 提出；同年双向循环神经网络也被提出。

第二次寒冬：遗憾的是，神经网络的研究随着以支持向量机(Support Vector Machine，简称 SVM)为代表的传统机器学习算法兴起而逐渐进入低谷，称为人工智能的第二次寒冬。

第三次兴盛期：2006 年，Geoffrey Hinton 等人发现通过逐层预训练的方式可以较好地训练多层神经网络，并在 MNIST 手写数字图片数据集上取得了优于 SVM 的错误率，开启了第三次人工智能的复兴。

统计学习方法引领人工智能走出低谷，让人工智能真正走向使用。

二、机器学习

司马贺先生定义机器学习：如果一个系统能够通过执行某个过程改进它的性能，这就是学习。

三、统计机器学习

  1. 通过运用数据及统计方法提高系统性能的机器学习
  2. 运用统计方法，从数据出发提取数据的特征，抽象出问题的模型，发现数据中所隐含的知识，最终用得到的模型对新的数据进行分析和预测

四、统计学习的方法

  1. 有监督/教师学习（分类，有标签，教师指导）
  2. 无监督/教师学习（聚类，无标签，系统经过分析将相似的图片自动划分为一个类别但系统仍不知道某一类的具体标签）
  3. 半监督学习（样本一部分有标签一部分无标签，和不完全监督相比标注样本还是有一定量）
  4. 弱监督学习（弱是指信息标注不强）（不完全监督：很少的标注样本；不确切监督：标注对象不明确，单个样本中除了包含标签目标还有干扰信息；强化学习：试错和收益延迟）