Python AI-神經網路
神經網路
標準NN
(1) 定義：
- Fully Connected Neural Networks(NN)
- 1980年開始流行
- 輸入層 隱藏層 輸出層
- 深度學習就是超過3層以上的隱藏層，每一層需要多少神經元
- 每個神經元的動作是相同的
- 多個輸入對應多個權重、 一個輸出
(2) 類神經網路圖示
我們可以將類神經網路是由很多神經元所組成，架構上可分為三層，第一層為輸入層(input layer)這一層是用來接收外面的資料，有可能是圖片、聲音、數字等等；第二層為隱藏層(hidden layer)用來訓練資料找到最佳函式表達(最佳解)，此層可以多層的神經元組成；第三層輸出層(output layer) 將最佳解做輸出，此層只會有一個輸出．
神經元如何動作：每個神經元的動作是相同的，例如：H1接收到X1和X2的輸入值，反饋輸出不管輸入有幾條連結H1，他輸出值都會相同．
(3)公式解說
每個輸入的神經元都會有權重值(w1、w2…)，這些權重值用來決定輸入值的比重，如果輸入值會影響輸出比較重，我們可以給他比較重的權重值．
公式1: 在所有輸入x權重的加總+b(調整值)可以得出一個輸出，如果這個輸出無法滿足答案，請看公式2
公式2: 通常輸出加上激活函數是才是最後的輸出答案
(3)激活函數(Active Function)
類神經網路需要激活函數的目的在公式1可以看到乘績之和所得到的結果，只是得到線性關係解．通常問題的本質大多為非線性，利用激活函數將輸出得到一個非線性的表達式，藉此達到問題的近似解．
＊常見的激活函數
- Sigmoid :模仿人類的類神經，輸入的刺激很小時，輸出就是0，反之輸出很大時，輸出也不會超過1
- ReLU: 當輸入小於0，輸出就是0；輸入大於0，輸出等於輸入
參考：Mr. Opengate## 深度學習：使用激勵函數的目的、如何選擇激勵函數 Deep Learning : the role of the activation function
(4)神經網路訓練
神經網路可以透過訓練資料的方式來找到問題的解，所以我們可以定義一組訓練資料集{(X1,Y1)、(X2,Y2)、(X3,Y3)…}，透過神經網路輸出可以發現有誤差值產生，利用平方的方式來可以獲取準確誤差值（因為用加總有可能會得到0），將誤差值再次輸入調整原函式，希望可以漸漸得到loss function差異越小，表示接近真實的函式表達
Loss Function:用來測量利用神經網路得到的函式與正確的函式差異值，如果loss function越小表示接近正確函式．
(5)神經網路訓練過程
神經網路的公式，會透過資料學習所去調整函式，我們可以知道新的權重Ｗx是由舊的所去取得，
參考：Backpropagation Step by Step
*Ｗ表示更新後的權重
Ｗ表示舊的權重
a 學習速率
error/w斜率
參考
- backpropagation
- https://mropengate.blogspot.com/2017/02/deep-learning-role-of-activation.html
- http://moocs.nccu.edu.tw/media/23054
