PythonAI-卷積神經網路CNN

卷積神經網路

(1) 介紹：
神經網路三大天王NN、CNN和RNN，本文章介紹卷積神經網路(Convolutional Neural Network,CNN)，發明CNN目前為Facebook AI首席科學家被稱為CNN之父，CNN的發明把所有的圖型辨識的演算法幹掉，目前沒有可以比他更準確。當我們利用CNN來訓練辨識貓，CNN會自己找到它有關於貓的特徵，自己去識別．

(2)CNN運作方式
2.1 CNN運作架構
將貓咪像素圖作為輸入神經元，經過Convolution Layer和Pooling Layer擷取圖形特徵值與處理圖形
會先將貓咪圖片轉成一小格一小格的Filter，這些Filter是用來擷取貓身上的特徵值，

2.2 Convolution Layer卷積層
我們會將圖片輸入像素(Pixel)當作輸入的神經元，每個神經元會乘上相同的權重向量(Weight Array)，向量的乘法是做內積，所以由圖片可以看到，將3X3的像素乘以3X3權重值：2*1+1*0+2*1+1*0+4*1+1*0+3*1+1*0+3*1=14．

由左到右，上到下以3X3的區塊遞移計算，最後可以得到一個完整的特徵圖(Feature Map)

我們通常會使用多組Filters(6X6或8X8)去計算出Feature Map，這樣結果會得到原貓咪圖的資料量大很多，如何把這些圖簡化，後來使用一個方法稱為Pooling layer

2.3 Pooling Layer池化層
Pooling Layer層主要的目的是將Filter所得到的Feature Map做簡化，最常用的方法稱為Max-Pooling Layer，將Feature Map以2X2的區塊投票選出最大的值，表示為該區域的特徵值

參考

1. 第5.1講: 卷積神經網絡介紹(Convolutional Neural Network)

Python AI-手寫辨識

類神經網路-手寫辨識

手寫辨識

(1) 問題定義

將輸入手寫數字圖片，經由類神經網路訓練後，可以辨識手寫圖片得到一個正確的答案，例如讓電腦辨識上面圖片手寫數字0-9，都可以認得．在了解問題後，需要先知道輸入的資料格式，例如圖片為NxN的矩陣向量．

• 輸入：輸入的資料格式有很多種，例如數字圖片為矩陣向量
• 模型：ＮＮ
• 輸出：輸出的方式，神經網路輸出不一定跟輸入同值，手寫數字輸入為1，輸出有可能是1.1或是1.5等等，所以輸出必須經過轉換成真實世界的數字．

(2)定義函式
輸出會有兩個問題：
Ａ.輸出利用one-hot encoding來表示，就是Ｎ個狀態會對應Ｎ的結果，例如：輸出結果為1，表示[0,1,0,0,0,0,0,0,0,0]
B.輸出結果不能超過1，我們通常會利用Softmax函数來進行輸出的處理．

(3) 準備訓練/測試資料
在這邊需要從輸入去定義那些要當作訓練與測試資料，我們手寫資料使用MNIST 資料庫來訓練使用，MNIST共有70,000筆手寫資料，60,000筆為訓練資料，10,000為測試資料．

(4)建構類神經網路模型
開始建構我們的神經網路模型，首先決定好28x28的像素(這邊不用擔心如何將圖片轉成矩陣)，模型使用ＳＧＤ的方式進行學習，輸出是一個10為的陣列來表示．

• 輸入：手寫數字圖片(28x28=784)
• 模型：ＳＧＤ
• 輸出：數字(one hard encoding)

(5)學習
首先介紹SGD(Stochastic Gradient Descent) 的學習方式，因為蕾神經網路需要訓練很多次才會提高準確度，SGD最大的好處就是當每次重新學習的會將訓練資料打散，來防止機器學習將答案死背下來．

(6)實作開發
下面程式碼有完整的說明，這邊就不多說明了，當開始執行程式時就會進行資料訓練．

由訓練結果最後acc=0.9447，表示準確率可以到達94%，我們再由實際測試可以看出該圖為7的圖示，由神經網路判斷為7，跟我們人類判斷相同，我們可以知道由訓練的結果可看得到不錯的準確度．

執行神經網路遇到不少問題，請參考下面連結，是筆者所整理的問題集，請多多指教https://programdoubledragon.blogspot.com/2019/08/python-ai_5.html

#確定使用深度學習套件tensorflow
%env KERAS_BACKEND=tensorflow

%matplotlib inline

#載入相關函式庫
import numpy as np
import matplotlib.pyplot as plt
import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

#讀入MNIST的數據庫
from keras.datasets import mnist 
(x_train, y_train),(x_test, y_test) = mnist.load_data()
#驗證len(x_train),len(y_train)是不是六萬筆資料
len(x_train)
len(y_train)


#輸出一筆看看
#x_train[9487].shape
#(28,28)
#輸出矩陣
#x_train[9487]
#輸出圖片
#plt.imshow(x_train[9486], cmap='Greys')
#y_train[9487]

#輸入格式整理
x_train.shape

#輸入格式整理:因為類神經網路，只能平平的資料，所以需要用reshape重新將
x_train = x_train.reshape(60000, 784)
x_test  = x_test.reshape(10000, 784)

#輸出 one-hot encoding
from keras.utils import np_utils
y_train = np_utils.to_categorical(y_train, 10)
y_test = np_utils.to_categorical(y_test, 10)
#9487可以看出[0,1,0,0,0,0,0,0,0,0]
y_train[9487]

#===========================神經網路模型============================
# 隱藏層: 兩個隱藏層，每個有500神經元
# 學習模型:SGD
#
#=================================================================
from keras.models import Sequential
from keras.layers import Dense, Activation
from keras.optimizers import SGD

#建立空的神經網路
model = Sequential()

#第一層隱藏層神經網路：建立500個神經元，輸入矩陣資料784個元素
model.add(Dense(500, input_dim=784))
#激發函式為sigmoid
model.add(Activation('sigmoid'))
#第二層隱藏層神經網路：建立500個神經元，輸入矩陣資料784個元素
model.add(Dense(500))
model.add(Activation('sigmoid'))
#輸出10維
model.add(Dense(10))
#激發函式為softmax，表示輸出只會是1，因為輸出陣列的位置表示為數字，例如：y[3]=1表示輸出為3;
model.add(Activation('softmax'))

#compile你的神經網路
#loss='mse'將誤差平方起來且平均
#optimizer=SGD(lr=0.1) lr為學習率
#metrics=['accuracy'] 可以查看正確率
model.compile(loss='mse', optimizer=SGD(lr=0.1) ,  metrics=['accuracy'])
#查看神經網路的模型
#model.summary()

# 驗證第一層：784X500+500(biase)=392500
# 驗證第二層：500X500+500(biase)=250500
# 輸出：500*10+10=5010

#終於來到最後輸出
#每100筆重新調整一次參數，並訓練次
model.fit(x_train, y_train, batch_size=100, epochs=20)


from ipywidgets import interact_manual
predict = model.predict_classes(x_test)

#建立測試函式
def test(測試編號):
    plt.imshow(x_test[測試編號].reshape(28,28), cmap='Greys'  )
    print('神經網路判斷為' , predict[測試編號])

#執行
interact_manual(test, 測試編號=(0,9999))

#儲存神經網路模型
#因為模型是以json格式，所以我們先用model_json來儲存
model_json = model.to_json()
#利用檔案的方式儲存
open('handwriting_model_arch.json','w').write(model_json)
model.save_weights("handwriting_model_arch.h5")

參考

1.http://moocs.nccu.edu.tw/media/23062
2. MNIST_database 維基百科
3. keras - 优化器 Optimizers
4. 資料：手寫六萬筆資料

Python AI-問題集

問題集

1. Jupyter Notebook執行ipywidgets會出現kernel死掉的錯誤發生(The kernel appears to have died)

解決方法

(1) 根據log檔來判斷問題：
例如：log訊息出現OMP: Error #15: Initializing libiomp5.dylib, but found libiomp5.dylib already initialized.

(2) 根據問題關鍵字找出問題所在：
利用google查詢所遭遇到的問題，例如我把上面的問題上google查詢可以找到這篇的解法
https://blog.csdn.net/bingjianIT/article/details/86182096

(3)實作解法：
我實作下面解法後，就可以順利執行手寫辨識的程式．

//在Python宣告時加入
import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

參考

1. https://blog.csdn.net/bingjianIT/article/details/86182096

Python AI-安裝Anacoda Python

安裝Anaconda Python

環境安裝

(1) 下載Anaconda套件
官網：https://www.anaconda.com/
套件下載： 下載網址

＊MAC版本安裝

請下載3.7版的來進行安裝

安裝畫面：

(2) 安裝深度學習套件
本次需要的範例

• tensorflow
• numpy
• keras
• pandas

需要打開mac的終端機(terminal)，需要將上面的套件安裝，首先測試conda指令是否可以執行
##> conda

輸入安裝的指令，會請您輸入管理員的密碼，通過後可以進行安裝
##>sudo conda install tensorflow
##>password
##>sudo conda install keras

＊測試
步驟一、首先在Document建立一個資料夾名為AI_Study，執行jupyter來進行測試

##>cd ~/Document
##>mkdir AI_Study
##>cd AI_Study
##>jupyter notebook

步驟二、
出現jupyter的IDE後，我們新增一個腳本，並選擇Python 3來開發

測試方式為import karas套件後，執行Run看是否有發生錯誤，吾表示安裝成功

參考

1. http://moocs.nccu.edu.tw/media/23054

Python AI-簡介

人工智慧技術簡介

人工智慧主要的核心概念為深度學習，然而要懂深度學習必須要會神經網路，神經網路由這三種核心技術所組成，後面的文章會陸續介紹類神經網路是如何學習？

• ＮＮ
• ＣＮＮ
• ＲＮＮ

人工智慧如何解決問題

人工智慧利用深度學習來學習而得到答案，利用數學的角度來解釋就是如果所有的問題都可以轉換成函式來表示，那深度學習就是找到那個函式來解決問題

AI可以解決的問題

目前深度學習可以大多應用這些問題．

• 預測，例如：下禮拜天氣預測、球員明年的打擊率
• 對話
• 圖片分類
• 自動駕駛

####參考

1. backpropagation

Python AI-神經網路

神經網路

標準NN

(1) 定義：

• Fully Connected Neural Networks(NN)
• 1980年開始流行
• 輸入層 隱藏層 輸出層
• 深度學習就是超過3層以上的隱藏層，每一層需要多少神經元
• 每個神經元的動作是相同的
• 多個輸入對應多個權重、 一個輸出

(2) 類神經網路圖示
我們可以將類神經網路是由很多神經元所組成，架構上可分為三層，第一層為輸入層(input layer)這一層是用來接收外面的資料，有可能是圖片、聲音、數字等等；第二層為隱藏層(hidden layer)用來訓練資料找到最佳函式表達(最佳解)，此層可以多層的神經元組成；第三層輸出層(output layer) 將最佳解做輸出，此層只會有一個輸出．

神經元如何動作：每個神經元的動作是相同的，例如：H1接收到X1和X2的輸入值，反饋輸出不管輸入有幾條連結H1，他輸出值都會相同．

(3)公式解說
每個輸入的神經元都會有權重值(w1、w2…)，這些權重值用來決定輸入值的比重，如果輸入值會影響輸出比較重，我們可以給他比較重的權重值．

公式1: 在所有輸入x權重的加總+b(調整值)可以得出一個輸出，如果這個輸出無法滿足答案，請看公式2
公式2: 通常輸出加上激活函數是才是最後的輸出答案

(3)激活函數(Active Function)
類神經網路需要激活函數的目的在公式1可以看到乘績之和所得到的結果，只是得到線性關係解．通常問題的本質大多為非線性，利用激活函數將輸出得到一個非線性的表達式，藉此達到問題的近似解．

＊常見的激活函數

• Sigmoid :模仿人類的類神經，輸入的刺激很小時，輸出就是0，反之輸出很大時，輸出也不會超過1
• ReLU: 當輸入小於0，輸出就是0；輸入大於0，輸出等於輸入

參考：Mr. Opengate## 深度學習：使用激勵函數的目的、如何選擇激勵函數 Deep Learning : the role of the activation function

(4)神經網路訓練
神經網路可以透過訓練資料的方式來找到問題的解，所以我們可以定義一組訓練資料集{(X1,Y1)、(X2,Y2)、(X3,Y3)…}，透過神經網路輸出可以發現有誤差值產生，利用平方的方式來可以獲取準確誤差值（因為用加總有可能會得到0），將誤差值再次輸入調整原函式，希望可以漸漸得到loss function差異越小，表示接近真實的函式表達

Loss Function:用來測量利用神經網路得到的函式與正確的函式差異值，如果loss function越小表示接近正確函式．

(5)神經網路訓練過程
神經網路的公式，會透過資料學習所去調整函式，我們可以知道新的權重Ｗx是由舊的所去取得，

參考：Backpropagation Step by Step
*Ｗ表示更新後的權重
Ｗ表示舊的權重
a 學習速率
error/w斜率

參考

1. backpropagation
2. https://mropengate.blogspot.com/2017/02/deep-learning-role-of-activation.html
3. http://moocs.nccu.edu.tw/media/23054