FEATURES 特徵
點圖切換:亮起啟用、暗下停用
小圖皆以 x₁ 橫向、x₂ 縱向,色彩表示特徵值。
OUTPUT · 最終預測
逐層數值與連線權重
精確編輯資料點
| 點 | 用途 | x₁ | x₂ | 類別 | 藍類機率 | 判定 |
|---|
進階設定
SGD/mini-batch
B 是本次抽到的訓練點,此處 a 是所有權重與偏置(參數向量),不同於逐層圖的神經元輸出 a,η 是學習率。Batch size=1:SGD;大於1但少於全部:mini-batch;使用全部點:全批次。
以上是 Momentum=0、未使用正則化時的更新式;開啟 L2 會加入權重約束梯度,Momentum 則會累積先前更新方向。
Momentum(動量):μ 保留先前更新方向,初始速度 v₀=0。
Decay(學習率衰減):d 是衰減強度,t 是已更新次數,η₀ 是起始學習率;關閉時 d=0。
開啟 L2 時,gₜ 另加上 L2 梯度:權重增加 λw,偏置不加約束。
CE(Cross-Entropy,交叉熵)
限制權重變得太大,看看模型如何改變。強度太高也可能學不好。
L2:權重平方總和。
λ 是約束強度,w 包含所有連線權重,不含偏置 b。資料損失隨任務選擇 CE 或 MSE;畫面訓練損失以全部訓練點計算。