[AI]Learning categories in neural network

今天終於釐清了兩年前遇到的問題：程式在做參數式學習的時候都會需要根據已知的情況去調整參數向量，但是應該要「看完整本書在學起來？」還是「看完一段就學一次？」這一直是當時在實作Perceptron的時候卡到的小疑惑。不過那時候不是很熟悉整個情況，所以也說不出個很顯著的所以然來。最後是根據給定的演算法去做。

今天又遇到這個問題了，不過這次有比較清楚的腦海地圖了。

舉個例子來解釋：假設今天某個classify system吃3個參數作為input，所以該system應該具有一個weight vector長做這樣：

並且我們有三個classified instance：




而每一次W(weight vector)乘上(inner product)其中一個X(input instance(again, it is a vector))然後產生一個O(output)，並且我們已知該instance X具有一個正確的結果T。根據某個函數f(T-O), 我們可以得到∆W：「W目前應該更新的程度值」。舉例如下：

這表示產生出來的∆W的意思是「僅需要更新bias值」。

但是這裡就有個問題了，因為大多的learning model都會需要一再的對整個instance space去做運算。所以到底是每看完一筆instance就更新？

還是看完整個instance space以後再去更新？


前面這種稱為針對資料做逐一學習的方法稱為：Incremental Learning，而相對地，對全部資料作一次性的學習稱為：Batch Learning。

另Batch Learning a.k.a. Epoch Learning。
而Incremental Learning則又被稱為
1. Pattern Learning
2. Instantaneous Learning

不過Pattern Learning會容易和Pattern Recognition產生混淆，而Instantaneous Learning容易造成「以為learning的行為是instantaneously」的誤會。所以兩者現在都已經不常使用了。