我在Datawhale学“吃瓜”（四）

❝
不知不觉又是 3 天过去了，最后两次学习打卡，这次学习的是第5章--神经网络，主要介绍了神经网络的基本原理、常用激活函数、感知机与多层网络、反向传播算法、局部最小问题、正则化与剪枝方法、循环网络和深度学习等内容。书中还给出了一些实例和习题，以帮助读者理解和掌握神经网络的知识。
❞

神经网络基本原理

神经网络（neural networks）：具有适应性的简单单元组成的广泛并行互连网络，它的组织能够模拟生物神经系统对真实世界物体做出的交互反应。神经网络中最基本的成分是神经元(neural)模型，即上述定义中的"简单单元"。

❝
神经网络是一种模仿生物神经系统的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由多个简单单元（神经元）组成，每个单元接收其他单元传递过来的输入信号，并通过激活函数处理后产生输出信号。根据单元之间连接的方式，可以将神经网络分为前馈神经网络和反馈神经网络两大类。
❞

❝
前馈神经网络是一种单向传递信息的网络，它由输入层、输出层和若干隐藏层组成，每一层都是全连接或部分连接的。前馈神经网络可以用于回归、分类、降维等任务。常见的前馈神经网络有感知机、多层感知机、径向基函数网络、卷积神经网络等。
❞

❝
反馈神经网络是一种存在环路或回路的网络，它可以将输出信号重新作为输入信号，并根据某种规则调整连接权重。反馈神经网络可以用于记忆、优化、控制等任务。常见的反馈神经网络有霍普菲尔德网络、玻尔兹曼机、递归神经网络等。
❞

激活函数

激活函数(activation function)：理想的激活函数是阶跃函数（0\1神经信号变换），然而阶跃函数具有不连续、不光滑等不太好的性质，因此实际常用Sigmod作为激活函数，它把可能在较大范围内变化的输入值挤压到 (0 1) 输出值范围内，因此有时也称为 "挤压函数" (squashi function）。

感知机与多层网络

感知 (Perceptron）由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是 M-P 神经元，也称"阔值逻辑单元" (threshold logic unit)

多层前馈神经网络（multi-layer feedforward neural networks）：每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接，这样的神经网络称为多层前馈神经网络。

误差逆传播算法

❝
误差逆传播算法是一种用于训练多层神经网络的算法，它的核心思想是利用链式法则来计算每个神经元的误差梯度，并根据梯度下降法来更新神经元的权重和阈值。具体来说，误差逆传播算法分为两个阶段：正向传播和反向传播。正向传播阶段，给定一个训练样本，将其输入到神经网络中，通过每一层的线性变换和激活函数，得到最终的输出。反向传播阶段，计算输出层神经元的误差，并将其沿着网络结构反向传递到隐藏层和输入层，同时根据误差对应的梯度来调整每个神经元的权重和阈值。
❞