二維回歸/分類 2D Regression / Classification曲線自由觀察室加點、換網路,自由看看。

Features

點圖切換:亮起啟用、暗下停用

INPUT FEATURES輸入特徵

HIDDEN LAYERS 隱藏層

OUTPUT輸出結果

OUTPUT · 最終預測

0 次更新(Epoch)

訓練 MSE — · 比較 MSE —

已用 0/150 點
● 訓練點■ 比較點
座標皆為負二至二。藍點參與訓練,橘色空心方形只比較,綠線為預測,灰虛線為保留曲線。下方有完整編輯表單。

尚未訓練。
逐層數值與連線權重
精確編輯資料點

鍵盤也能新增、選取、修改、刪除。x 與目標 y 範圍皆為 -2 到 2,最多 150 點。

目前資料與預測(比較點未參與更新)
選取用途x目標 y預測 y
進階設定
SGD/mini-batch

B 是本次抽到的訓練點,此處 a 是所有權重與偏置(參數向量),不同於逐層圖的神經元輸出 a,η 是學習率。Batch size=1:SGD;大於1但少於全部:mini-batch;使用全部點:全批次。

以上是 Momentum=0、未使用正則化時的更新式;開啟 L2 會加入權重約束梯度,Momentum 則會累積先前更新方向。

Momentum(動量):μ 保留先前更新方向,初始速度 v₀=0。

Decay(學習率衰減):d 是衰減強度,t 是已更新次數,η₀ 是起始學習率;關閉時 d=0。

開啟 L2 時,gₜ 另加上 L2 梯度:權重增加 λw,偏置不加約束。

MSE(平均平方誤差)

n 是計算使用的資料點數,ŷ 是模型預測,y 是目標值。

限制權重變得太大,看看模型如何改變。強度太高也可能學不好。