损失函数、前向传播、后向传播

损失函数（Loss Function）也常被称为成本函数（Cost Function），是表达模型输出与真实值之间的差值的函数。

核心功能：衡量预测与真相之间的差距；

如何工作：它是一个数学公式，输入的是模型的预测值和数据的真实标签值，输出的是一个数字，这个数字就是损失值（Loss）

损失值越大，代表模型的预测月不准，错的越离谱。损失值越小，代表模型的预测越接近真实答案。

AI的训练目标：通过不断调整模型，让这个损失值变得尽可能小。

前向传播

前向传播（Forward Propagation）是模型使用知识进行预测的过程。

激活函数：

激活函数的作用是引入了非线性能力，允许网络学习复杂的模式。

激活函数为什么可以给模型带来非线性功能：
神经网路中的每一层都是“线性变化”，两个层的单纯叠加的输出仍然是线性变化（见推导），因此需要引入激活函数这个非线性逻辑，让层与层之间的叠加得到非线性的功能
激活函数就是打破线性变化之间的传导性。

梯度：梯度是一个向量，指向函数值增加最快的方向，数值表示增加的速度
在深度学习中，这个函数通常是损失函数
计算梯度：
使用反向传播算法来高效计算损失函数相对于每个参数的梯度
梯度下降：
这是最常见的优化方法：参数更新的公式
沿着梯度的反方向移动参数
变体包括SGD（随机梯度下降），Adam等，他们处理梯度更只能，以避免局部最小值和收敛太慢