使用 MATLAB 进行机器学习

逻辑回归

工作原理
拟合一个模型，该模型可预测属于一个类或另一个类的二元响应的概率。逻辑回归算法以其简单性常被作为解决二类分类问题的入门方法。

最佳使用情形...

• 当数据能由一个线性边界清晰划分时
• 作为评估更复杂分类方法的基准

k 最近邻 (kNN)

工作原理
kNN 算法根据数据集中一个对象的最近邻的类对该对象进行分类。kNN 算法预测假设，彼此靠近的对象是相似的。距离度量，如欧氏距离、城市街区距离、余弦距离和切比雪夫距离，可用来寻找最近邻。

最佳使用情形...

• 当您需要简单算法来设立基准学习规则时
• 当不太需要关注训练模型的内存使用量时
• 当不太需要关注训练模型的预测速度时

支持向量机 (SVM)

工作原理
通过寻找能将一个类的全部数据点与其他类的全部数据点分开的线性决策边界（超平面）对数据进行分类。对于 SVM，如果数据是线性可分的，则最佳超平面是以最大边距将两个类分开的超平面。如果数据不是线性可分的，则该算法会使用损失函数对位于超平面错误一侧的点进行罚分。有时，SVM 会使用核变换，将非线性可分的数据变换为可找到线性决策边界的更高维度。

最佳使用情形...

• 适用于正好有两个类的数据（您也可以将该算法与纠错输出编码方法结合使用执行多类分类）
• 适用于非线性可分的高维数据
• 当您需要一个简单准确且易于解释的分类器时

神经网络

工作原理
受人脑的启发，一个神经网络由高度互连的若干神经元网络组成，这些神经元将输入与所需输出相关联。在训练该网络的过程中，以迭代方式修改连接的强度，使给定的输入能够映射到正确的响应。

最佳使用情形...

• 适用于高度非线性系统建模
• 当您希望模型随着数据逐渐增多而不断进行更新时
• 当您的输入数据可能有意外更改时
• 当模型可解释性不是主要考虑因素时

朴素贝叶斯

工作原理
朴素贝叶斯分类器假设，类中某一特定特征的存在与任何其他特征的存在不相关。该算法根据新数据属于某个特定类的最高概率对该数据进行分类。

最佳使用情形...

• 适用于包含许多参数的小型数据集
• 当您需要易于解释的分类器时
• 当模型会遇到训练数据中未包含的场景时（这种情况常见于诸多金融和医学应用领域）

判别分析

工作原理
判别分析通过发现特征的线性组合对数据进行分类。判别分析假定，不同的类根据高斯分布生成数据。训练判别分析模型就是寻找每个类的高斯分布参数的过程。分布参数用来计算边界，这些边界可能为线性函数或二次函数，用来确定新数据的类。

最佳使用情形...

• 当您需要易于解释的简单模型时
• 当需要考虑训练过程中的内存使用量时
• 当您需要快速预测的模型时

决策树

工作原理
决策树可用于预测对数据的响应，方法是按照从树中根节点（起始位置）到叶节点的顺序自上而下地决策。树由分支条件组成，在这些条件中，预测变量的值与训练得到的权重进行比较。分支的数量和权重的值在训练过程中确定。您还可以通过额外的修改或剪枝来简化模型。

最佳使用情形...

• 当您需要易于解释和快速拟合的算法时
• 要最大限度减少内存使用量时
• 当不要求很高的预测准确度时

装袋决策树和提升决策树

工作原理
在这些集成方法中，若干“较弱”的决策树组合成一个“较强”的集成决策树。

一个装袋决策树由若干树组成，这些树是根据从输入数据中自助采样得到的数据独立训练的。

提升决策树就是创建一个强学习器，具体方法是以迭代方式添加“弱”学习器，并调整每个弱学习器的权重，以关注错误分类的样本。

最佳使用情形...

• 当预测变量为分类（离散）预测变量或表现非线性时
• 当不太需要关注训练模型所用时间时