机器学习与神经网络

人工智能是引领未来的战略性技术，了解人工智能领域的发展过程及现状，了解机器学习、神经网络、深度学习的基本原理、适用场景、算法方法，

通过课程学习能够结合自身工作用人工智能思维思考、解决实际问题。

【人工智能方法及应用系列讲座】（将分为第一讲、第二讲、第三讲、第四讲共四篇章逐步分享给大家），主讲人是合肥工业大学博士、博士后吕增威为大家带来的全面

了解人工智能的纯干货分享，值得学习与收藏（致谢：由于参考来源转载或改编，版权归原作者所有，在此对原作者表示感谢！）。此篇为第二讲——机器学习与神经网络。

1、机器学习原理

——概述

机器学习是一类算法的总称，这些算法企图从大量历史数据中挖掘出其中隐含的规律，并用于预测或者分类。

更具体的说，机器学习可以看作是寻找一个函数，输入是样本数据，输出是期望的结果，只是这个函数过于复杂，以至于不太方便形式化表达。

需要注意的是，机器学习的目标是使学到的函数很好地适用于“新样本”，而不仅仅是在训练样本上表现很好。

机器学习≈ 寻找一个函数

1、选择一个合适的模型，这通常需要依据实际问题而定，针对不同的问题和任务需要选取恰当的模型，模型就是一组函数的集合。

 2、判断一个函数的好坏，这需要确定一个衡量标准，也就是我们通常说的损失函数（Loss Function）。

 3、找出“最好”的函数，如何从众多函数中最快的找出“最好”的那一个，这一步是最大的难点，做到又快又准往往不是一件容易的事情。

学习得到“最好”的函数后，需要在新样本上进行测试，只有在新样本上表现很好，才算是一个“好”的函数。

没有免费午餐定理(No Free Lunch，简称NFL)意思是没有付出，就没有收获，该理论用于比较两种优化算法之间的关系，

该如何确定一种算法比另外一种算法好。该定理暗指，没有其它任何算法能够比搜索空间的线性列举或者纯随机搜索算法更优。

——术语

从市场上随机选取的芒果样本（训练数据），列出每个芒果的所有特征：如颜色，大小，形状，产地，品牌

以及芒果质量（输出变量）：甜蜜，多汁，成熟度。设计一个学习算法来学习芒果的特征与输出变量之间的相关性模型。

下次从市场上买芒果时，可以根据芒果（测试数据）的特征，使用前面计算的模型来预测芒果的质量。

——泛化能力是指一个机器学习算法对于没有见过的样本的识别能力。我们也叫做举一反三的能力，或者叫做学以致用的能力。

——欠拟合是和过拟合相对的现象，可以说是模型的复杂度较低，没法很好的学习到数据背后的规律。

——过拟合是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。

——不收敛是指如果说一个机器学习算法的效果和瞎蒙的差不多那么基本就可以说这个算法没有收敛，也就是根本没有去学习。

2、机器学习分类、流派

······机器学习的流派

——机器学习的流派如今，各学派开始相互借鉴融合

——21 世纪的头十年，最显著的就是连接学派和符号学派的结合，由此产生了记忆神经网络以及能够根据知识进行简单推理的智能体。基础架构也向大规模云计算转换。

——第二个十年，连接学派、符号学派和贝叶斯学派也将融合到一起，实际上我们现在已经看到了这样的趋势，比如 DeepMind 的贝叶斯 RNN，

而主要的局面将是感知任务由神经网络完成，但涉及到推理和行动还是需要人为编写规则。

······机器学习的流派类型

3、机器学习算法

——回归

统计在一定程度上，破坏了数学的严谨性。统计研究的是一种非确定性关系。

确定性关系：给定输入，一定会得到某个输出。

非确定关系：给定输入，概率上得到某个输出。

为了勾勒出这种“非确定性关系”，产生了相关分析和回归分析。

线性回归（Linear Regression）   三要素：模型、评价、求解

如何评价？残差？

如何求解？

在最简单的线性回归中，损失函数为凸，容易求得可采用梯度下降法。线性回归对异常值非常敏感。它可以极大的影响回归线最终的预测值。

若函数非常复杂该如何求解？

智能优化算法、元启发式算法、进化算法、群智能算法

智能优化算法一般都是建立在生物智能或物理现象基础上的随机搜索算法，目前在理论上还远不如传统优化算法完善，往往也不能确保解的最优性，因而常常被视为只是一些“元启发式方法”（meta-heuristic）。

但从实际应用的观点看，这类新算法一般不要求目标函数和约束的连续性与凸性，甚至有时连有没有解析表达式都不要求，对计算中数据的不确定性也有很强的适应能力。

进化算法，又称“演化算法” (Evolutionary Algorithms, EAs) 是一个“算法簇”，是以达尔文的进化论思想为基础，通过模拟生物进化过程与机制的求解问题的自组织、自适应的人工智能技术。

生物进化是通过繁殖、变异、竞争和选择实现的;而进化算法则主要通过选择、重组和变异这三种操作实现优化问题的求解。

群智能算法指无智能的主体通过合作表现出智能行为的特性，在没有集中控制且不提供全局模型的前提下，为寻找复杂的分布式问题求解方案提供了基础。

逻辑回归（Logistic Regression）

逻辑回归虽然被称为回归，但其实际上是分类模型，并常用于二分类。因其简单、可并行化、可解释强深受工业界喜爱。

Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。

逻辑回归就是将线性回归的(-∞,+∞) 结果，通过Sigmoid函数映射到(0,1) 之间。

如何评价？

线性回归的损失函数为平方损失函数，如果将其用于逻辑回归的损失函数，则其数学特性不好，有很多局部极小值，难以用梯度下降法求最优。

逻辑回归损失函数：对数损失函数

为什么要用对数：样本集中有很多样本，要求其概率连乘，概率为(0,1)间的数，连乘越来越小，利用log变换将其变为连加，不会溢出，不会超出计算精度。

在逻辑回归模型中，我们最大化似然函数和最小化对数似然损失函数实际上是等价的。

逻辑回归与线性回归的关系

相似点：本质上，逻辑回归都是以线性回归为理论支持的，仅在线性回归的基础上，在特征到结果的映射中加入了一层sigmoid函数（非线性）映射。

不同点：1、经典线性模型的优化目标函数是最小二乘，而逻辑回归则是似然函数。

2、线性回归模型无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。

3、线性回归在整个实数域范围内进行预测，敏感度一致。逻辑回归在线性回归的实数范围输出值上施加sigmoid函数将值收敛到0~1范围, 

其损失函数也因此从差平方和函数变为对数损失函数, 以提供最优化所需导数。它是将预测值限定为[0,1]间的一种回归模型。

逻辑曲线在z=0时，十分敏感，在z>>0或z<<0处，都不敏感，将预测值限定为{0,1}，其鲁棒性比线性回归的要好。

多项式回归(Polynominal Regression )

对于线性回归，数据都是线性的，目标是寻找一条直线，尽可能的拟合样本。但实际任务中，数据往往是非线性，因此需对线性回归算法进行一些转换改造，即多项式回归。

怎么评价？

岭回归(Ridge Regression) 

Lasso回归（Lasso Regression）

弹性网络回归（ElasticNet Regression）