从一次预测,到一次学习
前向传播 & 反向传播
让数据向前,让梯度向后。亲手改变参数,读懂网络如何学习。
教材公式 3.15—3.21
详细推导 · 实时演算
详细推导 · 实时演算
选择网络结构
一次学习的路径
前向 · 输入 → 输出前向激活反向梯度点击连线 / 神经元查看计算
网络预测 ŷ输出层激活值
目标值 y
当前损失 L½ (ŷ − y)²
重复,才是学习
观察梯度下降
使用当前样本,同时更新所有权重与偏置,再重新计算损失。
已更新参数0 次
点击“训练 1 次”,比较更新前后的损失。
这是单个样本的教学演示,损失下降不代表模型已具备泛化能力。学习率过大时,损失可能上升。
查看全部参数的梯度与下一次更新
梯度算对了吗?
用有限差分独立检查反向传播:轻微扰动参数,比较损失的变化率。
先预测,再验证
把“看懂”变成“会用”
三个小问题,检查你是否理解了信息、梯度和更新方向。
回到实验室,做两个小实验
① 梯度的符号:选中 w₁₁⁽¹⁾,记录梯度符号。若梯度为正,把该权重略微减小,观察损失是否下降。
② 沉默的神经元:将隐藏层切换为 ReLU,并把 b₁⁽¹⁾ 设为 −3,观察该神经元的输出与输入侧梯度。然后增大偏置,使加权输入跨过 0。