Features
點圖切換:亮起啟用、暗下停用
OUTPUT · 最終預測
0 次更新(Epoch)
訓練 MSE — · 比較 MSE —
尚未訓練。
逐層數值與連線權重
精確編輯資料點
鍵盤也能新增、選取、修改、刪除。x 與目標 y 範圍皆為 -2 到 2,最多 150 點。
| 選取 | 用途 | x | 目標 y | 預測 y |
|---|
進階設定
SGD/mini-batch
B 是本次抽到的訓練點,此處 a 是所有權重與偏置(參數向量),不同於逐層圖的神經元輸出 a,η 是學習率。Batch size=1:SGD;大於1但少於全部:mini-batch;使用全部點:全批次。
以上是 Momentum=0、未使用正則化時的更新式;開啟 L2 會加入權重約束梯度,Momentum 則會累積先前更新方向。
Momentum(動量):μ 保留先前更新方向,初始速度 v₀=0。
Decay(學習率衰減):d 是衰減強度,t 是已更新次數,η₀ 是起始學習率;關閉時 d=0。
開啟 L2 時,gₜ 另加上 L2 梯度:權重增加 λw,偏置不加約束。
MSE(平均平方誤差)
n 是計算使用的資料點數,ŷ 是模型預測,y 是目標值。
限制權重變得太大,看看模型如何改變。強度太高也可能學不好。
L2:權重平方總和。
λ 是約束強度,w 包含所有連線權重,不含偏置 b。MSE 是本次更新使用資料的平均平方誤差;畫面訓練 MSE 以全部訓練點計算。