浅层神经网络术语表

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 主仿传偏全共决净函分初前加动反后回均学对局层并广弗弹径循性感批抽拓拟挤排无早更最有权架梯模欠正死泛波测目硬神竞级线自莱训误调贝距轮输过连适遍邻量隐雅顺预饱验鲍黄

ADALINE: 线性神经元的缩写：自适应线性神经元 (ADAptive LINear Element)。
适应: 通过指定的输入序列进行的训练方法，在提交输入时针对序列中的每个输入向量计算输出和误差并进行网络调整。
自适应滤波器: 包含延迟的网络，其权重在提交每个新输入向量后进行调整。网络会适应输入信号属性的变化（如果有的话）。这种滤波器用于消除长途电话线路的回声。
自适应学习率: 在训练过程中根据算法进行调整的学习率，旨在最大限度地减少训练时间。
架构: 描述神经网络中的层数、每层的传递函数、每层的神经元数量以及层与层之间的连接。
反向传播学习规则: 由通过网络反向传播的误差导数 (delta) 向量来调整权重和偏置的学习规则。反向传播通常应用于前馈多层网络。有时此规则称为广义 delta 规则。
回溯搜索: 线性搜索例程，以步进乘数 1 开始，然后回溯，直到出现可以接受的性能下降。
批量: 同时应用于网络的输入（或目标）向量矩阵。对于输入矩阵中的整组向量，网络权重和偏置仅更改一次。（批量一词将被更具描述性的表述“并发向量”取代。）
批处理: 提交一组输入向量以同时计算输出向量矩阵和/或新权重和偏置的过程。
贝叶斯框架: 假设网络的权重和偏置是具有指定分布的随机变量。
BFGS 拟牛顿算法: 牛顿优化算法的变体，从每次算法迭代时计算的梯度中获得黑塞矩阵逼近。
偏差: 神经元参数，与神经元的加权输入相加并通过神经元的传递函数传递以生成神经元的输出。
偏差向量: 神经元层的偏差值的列向量。
Brent 搜索: 混合使用黄金分割搜索和二次插值的线性搜索。
级联前向网络: 分层网络，其中每层只接收来自前面的层的输入。
Charalambous 搜索: 混合线搜索，将三次插值和一种分割算法一起使用。
分类: 输入向量与特定目标向量的关联。
竞争层: 一个神经元层，其中只有净输入最大的神经元的输出为 1，所有其他神经元的输出均为 0。神经元相互竞争，以获取对给定输入向量作出响应的资格。
竞争学习: 使用 instar 规则或 Kohonen 规则对竞争层进行无监督训练。单个神经元经过学习，成为特征检测器。训练后，该层在其神经元之间对输入向量进行分类。
竞争传递函数: 该函数接受层的净输入向量，并对除获胜神经元以外的所有神经元返回神经元输出 0，获胜神经元是与净输入 n 中最大的元素相关的神经元。
并发输入向量: 一种由输入向量构成的矩阵，这些向量将被同时提交给网络。该矩阵中的所有向量都仅用于对权重和偏置进行一组更改。
共轭梯度算法: 在共轭梯度算法中，沿共轭方向执行搜索，与沿最陡下降方向搜索相比，这种搜索通常能更快地产生收敛。
连接: 网络中神经元之间的单向链接。
连接强度: 网络中两个神经元之间的链接强度。强度（通常称为权重）决定了一个神经元对另一个神经元的影响。
循环: 输入向量、输出计算以及新权重和偏置的单一表示。
死神经元: 在训练过程中从未赢得任何竞争并因此未成为有用特征检测器的竞争层神经元。死神经元对任何训练向量都没有响应。
决策边界: 由权重和偏置向量决定的线，其净输入 n 为零。
delta 规则: 请参阅 Widrow-Hoff 学习规则。
delta 向量: 层的 delta 向量是网络输出误差关于该层的净输入向量的导数。
距离: 神经元之间的距离，使用距离函数根据其位置进行计算。
距离函数: 计算距离（如两个向量之间的欧几里德距离）的特定方式。
早停法: 基于将数据分成三个子集的方法。第一个子集是训练集，用于计算梯度和更新网络权重及偏置。第二个子集是验证集。当验证误差在指定次数的迭代中增加时，训练停止，并返回验证误差最小时的权重和偏置。第三个子集是测试集。它用于验证网络设计。
轮: 向网络提交一组训练（输入和/或目标）向量，并计算新权重和偏置。请注意，训练向量可以一次提交一个，也可以一批全部提交。
误差跳跃: 在训练过程中网络的误差平方和突然增加。这通常是因为学习率太大所导致的。
误差比: 用于反向传播网络的自适应学习率和动量训练的训练参数。
误差向量: 响应输入向量的网络输出向量与相关目标输出向量之间的差异。
反馈网络: 具有从一个层的输出到该层的输入的连接的网络。反馈连接可以是直接的，也可以通过多个层。
前馈网络: 分层网络，其中每层只接收来自前面的层的输入。
弗莱彻-里夫斯更新: 计算一组共轭方向的方法。作为共轭梯度优化过程的一部分，这些方向用作搜索方向。
函数逼近: 由经过训练的网络所执行的任务，旨在对输入作出与理想函数近似的响应。
泛化: 一种网络的性质，该网络对新输入向量的输出趋于接近训练集中与之相似的输入向量的输出。
广义回归网络: 在有足够多隐藏神经元的情况下，将连续函数逼近到任意精度。
全局最小: 函数在其整个输入参数范围内的最小值。梯度下降法会调整权重和偏置，以找到网络的全局最小误差。
黄金分割搜索: 不需要计算斜率的线性搜索。每次搜索迭代时都会细分包含性能最小值的区间，并且每次迭代消除一个细分。
梯度下降: 对权重和偏置进行更改的过程，其中，更改与网络误差相对于这些权重和偏置的导数是成比例的。这样做是为了最小化网络误差。
硬限制传递函数: 传递函数，它将大于或等于 0 的输入映射到 1，将所有其他值映射到 0。
Hebb 学习规则: 历史上提出的第一个神经元学习规则。权重调整为与加权前和加权后神经元输出的乘积成比例。
隐藏层: 未连接到网络输出的网络层（例如，两层前馈网络的第一层）。
主神经元: 邻域中心处的神经元。
对分-三次插值混合搜索: 结合使用二等分和三次插值的线搜索。
初始化: 将网络权重和偏置设置为原始值的过程。
输入层: 直接从网络外部接收输入的神经元层。
输入空间: 所有可能输入向量的范围。
输入向量: 提交给网络的向量。
输入权重向量: 用于神经元的权重行向量。
输入权重: 将网络输入连接到层的权重。
雅可比矩阵: 包含网络误差相对于权重和偏置的一阶导数。
Kohonen 学习规则: 训练所选神经元的权重向量以接受当前输入向量值的学习规则。
层: 连接到相同输入并将输出发送到相同目的地的神经元组。
层图: 显示各层和连接它们的权重矩阵的网络架构图。每层的传递函数都用一个符号表示。会显示输入、输出、偏差和权重矩阵的大小。不会显示单个神经元和连接。
层权重: 将层连接到其他层的权重。如果此类权重形成循环连接（即环路），则它们需要具有非零延迟。
学习: 调整权重和偏置以实现某些所需网络行为的过程。
学习率: 用于在学习过程中控制权重和偏置变化大小的训练参数。
学习规则: 推导出网络中接下来可能发生的变化的方法或修改网络的权重和偏置的过程。
莱文贝格-马夸特: 比通常的梯度下降反向传播方法快 10 到 100 倍的神经网络训练算法。它始终计算维度为 nxn 的近似黑塞矩阵。
线搜索函数: 沿给定的搜索方向（线）搜索以查找网络性能最小值的过程。
线性传递函数: 将输入作为输出生成的传递函数。
连接距离: 到达所关注的神经元所必须经过的连接数或步数。
局部最小值: 限定的输入值范围内的函数最小值。局部最小值可能不是全局最小值。
log-sigmoid 传递函数: 用于将输入映射到区间 (0,1) 的挤压函数（形式如下）。（工具箱函数是 logsig。）
$f (n) = \frac{1}{1 + e^{- n}}$
Manhattan 距离: 两个向量 x 和 y 之间的 Manhattan 距离的计算方式如下
D = sum(abs(x-y))
最大性能提升: 在可变学习率训练算法的一次迭代中允许性能提高的最大量。
最大步长: 线性搜索期间允许的最大步长。在训练算法的一次迭代中，不允许增加的权重向量模超过此最大步长。
均方误差函数: 用于计算网络输出 a 与目标输出 t 之间的平均平方误差的性能函数。
动量: 通常用于降低反向传播网络遇到低浅最小值的可能性的方法。
动量常量: 控制动量使用量的训练参数。
mu 参数: 标量 µ 的初始值。
邻域: 特定神经元的指定距离范围内的一组神经元。邻域通过位于获胜神经元 i* 的半径 d 范围内的所有神经元的索引指定：
Ni(d) = {j,d_ij ≤ d}
净输入向量: 层中所有输入向量加权加偏差后的组合。
神经元: 神经网络的基本处理元素。包括权重和偏置、求和结点以及输出传递函数。人工神经元（例如使用此工具箱仿真和训练的神经元）是生物神经元的抽象化。
神经元图: 显示神经元和连接它们的权重的网络架构图。每个神经元的传递函数都用一个符号表示。
排序阶段: 一段训练时间，在该时间段内，神经元权重应该在输入空间中自行排序，且顺序应与相关神经元的位置一致。
输出层: 其输出传递到网络外部的层。
输出向量: 神经网络的输出。输出向量的每个元素都是一个神经元的输出。
输出权重向量: 来自神经元或输入的权重的列向量。（另请参阅 outstar 学习规则。）
outstar 学习规则: 一种学习规则，它对神经元（或输入）的输出权重向量进行训练，使其取值为后加权层的当前输出向量。权重的变化与神经元的输出成比例。
过拟合: 网络在训练集上达到非常小的误差、但在新数据上误差很大的情况。
遍历: 对所有训练输入和目标向量进行一次循环。
模式: 一个向量。
模式关联: 由经过训练的网络所执行的任务，旨在以正确的输出向量对每个输入向量作出响应。
模式识别: 由经过训练的网络所执行的任务，该网络会在输入向量与习得向量相近时作出响应。该网络将输入“识别”为原始目标向量之一。
感知器: 具有硬限制传递函数的单层网络。此网络通常使用感知器学习规则进行训练。
感知器学习规则: 用于训练单层硬限制网络的学习规则。只要可行，该学习规则便可确保在有限的时间内获得完美工作的网络。
性能: 网络的行为。
性能函数: 通常指网络输出的均方误差。但是，神经网络工具箱还会考虑其他性能函数。键入 help nnperformance 可获取性能函数列表。
波拉克-里比埃尔更新: 计算一组共轭方向的方法。作为共轭梯度优化过程的一部分，这些方向用作搜索方向。
正线性传递函数: 针对负输入生成零输出且针对正输入生成相同输出的传递函数。
后处理: 将归一化输出转换回用于原始目标的相同单位。
鲍威尔-比尔重启: 计算一组共轭方向的方法。作为共轭梯度优化过程的一部分，这些方向用作搜索方向。此过程还会定期将搜索方向重置为梯度的负值。
预处理: 将输入或目标数据提交到神经网络之前对其进行的变换。
主成分分析: 对网络输入向量的成分进行正交化。此过程还可以通过消除冗余成分来减小输入向量的维度。
拟牛顿算法: 基于牛顿法的优化算法类。在算法的每次迭代中都会基于梯度计算逼近黑塞矩阵。
径向基网络: 一种神经网络，其设计原理是直接将响应神经元置于最合适的位置。
径向基传递函数: 径向基神经元的传递函数为
$r a d b a s (n) = e^{- n^{2}}$
正则化: 通过加上某一比例的网络权重平方和来对性能函数进行修正，通常选择网络在训练集上的误差平方和作为性能函数。
弹性反向传播: 一种训练算法，用于消除 sigmoid 挤压传递函数最末端处出现小斜率的有害影响。
饱和线性传递函数: 一种函数，该函数在区间 (-1,+1) 内为线性，在该区间外部饱和为 -1 或 +1。（工具箱函数是 satlin。）
量化共轭梯度算法: 该算法可避免标准共轭梯度算法的耗时线搜索。
顺序输入向量: 逐个提交到网络的一组向量。在提交每个输入向量时都会调整网络权重和偏置。
sigma 参数: 在量化共轭梯度算法中，该参数用于确定计算逼近黑塞矩阵的权重变化。
sigmoid: 将区间 (-∞,∞) 中的数字映射到有限区间（如 (-1,+1) 或 (0,1)）的单调 S 形函数。
仿真: 采用网络输入 p 和网络对象 net，并返回网络输出 a。
分布常数: 为产生 0.5 的输出，输入向量与神经元权重向量之间必须保持的距离。
挤压函数: 采用 -∞ 和 +∞ 之间的输入值并返回有限区间内的值的单调递增函数。
star 学习规则: 训练神经元的权重向量以接受当前输入向量值的学习规则。权重的变化与神经元的输出成比例。
误差平方和: 给定的一个输入向量或一组向量的网络目标和实际输出之间的平方差之和。
有监督学习: 一种学习过程，其中网络权重和偏置的变化是由外部干预所导致的。外部干预通常会提供输出目标。
对称硬限制传递函数: 将大于或等于 0 的输入映射到 +1，并将所有其他值映射到 -1 的传递函数。
对称饱和线性传递函数: 只要输入在 -1 到 1 的范围内，就将输入作为输出生成。在该范围之外，输出分别为 -1 和 +1。
tan-sigmoid 传递函数: 用于将输入映射到区间 (-1,1) 的挤压函数（形式如下）。（工具箱函数是 tansig。）
$f (n) = \frac{1}{1 + e^{- n}}$
抽头延迟线: 顺序延迟集，每个延迟输出处都有输出。
目标向量: 给定输入向量的所需输出向量。
测试向量: 用于测试经过训练的网络的一组输入向量（不直接用于训练）。
拓扑函数: 将神经元排列成网格、方框、六边形或随机拓扑的方法。
训练: 为执行特定工作而调整网络的过程。通常被视为离线作业，而不是像自适应训练那样在每个时间间隔内进行调整。
训练向量: 用于训练网络的输入和/或目标向量。
传递函数: 将神经元（或层）的净输出 n 映射到其实际输出的函数。
调整阶段: SOFM 训练时间段，在此期间，权重应该在输入空间中相对均匀地分布，同时保持在排序阶段建立的拓扑顺序。
欠定方程组: 所含变量多于约束的方程组。
无监督学习: 一种学习过程，其中网络权重和偏置的变化不是由外部干预所导致的。通常，变化是当前网络输入向量、输出向量以及先前的权重和偏置的函数。
更新: 对权重和偏置进行更改。可以在提交单个输入向量后或对多个输入向量进行累积更改后进行更新。
验证向量: 用于监控训练进度以防止网络过拟合的一组输入向量（不直接用于训练）。
权重函数: 权重函数对输入应用权重以获得加权输入。
权重矩阵: 包含从层的输入到其神经元的连接强度的矩阵。权重矩阵 W 的元素 w_i,j 指从输入 j 到神经元 i 的连接强度。
加权输入向量: 对层的输入（无论是网络输入还是其他层的输出）应用权重后的结果。
Widrow-Hoff 学习规则: 用于训练单层线性网络的学习规则。此规则是反向传播规则的前身，有时也称为 delta 规则。