Python AI-手寫辨識

類神經網路-手寫辨識

手寫辨識

(1) 問題定義

將輸入手寫數字圖片，經由類神經網路訓練後，可以辨識手寫圖片得到一個正確的答案，例如讓電腦辨識上面圖片手寫數字0-9，都可以認得．在了解問題後，需要先知道輸入的資料格式，例如圖片為NxN的矩陣向量．

• 輸入：輸入的資料格式有很多種，例如數字圖片為矩陣向量
• 模型：ＮＮ
• 輸出：輸出的方式，神經網路輸出不一定跟輸入同值，手寫數字輸入為1，輸出有可能是1.1或是1.5等等，所以輸出必須經過轉換成真實世界的數字．

(2)定義函式
輸出會有兩個問題：
Ａ.輸出利用one-hot encoding來表示，就是Ｎ個狀態會對應Ｎ的結果，例如：輸出結果為1，表示[0,1,0,0,0,0,0,0,0,0]
B.輸出結果不能超過1，我們通常會利用Softmax函数來進行輸出的處理．

(3) 準備訓練/測試資料
在這邊需要從輸入去定義那些要當作訓練與測試資料，我們手寫資料使用MNIST 資料庫來訓練使用，MNIST共有70,000筆手寫資料，60,000筆為訓練資料，10,000為測試資料．

(4)建構類神經網路模型
開始建構我們的神經網路模型，首先決定好28x28的像素(這邊不用擔心如何將圖片轉成矩陣)，模型使用ＳＧＤ的方式進行學習，輸出是一個10為的陣列來表示．

• 輸入：手寫數字圖片(28x28=784)
• 模型：ＳＧＤ
• 輸出：數字(one hard encoding)

(5)學習
首先介紹SGD(Stochastic Gradient Descent) 的學習方式，因為蕾神經網路需要訓練很多次才會提高準確度，SGD最大的好處就是當每次重新學習的會將訓練資料打散，來防止機器學習將答案死背下來．

(6)實作開發
下面程式碼有完整的說明，這邊就不多說明了，當開始執行程式時就會進行資料訓練．

由訓練結果最後acc=0.9447，表示準確率可以到達94%，我們再由實際測試可以看出該圖為7的圖示，由神經網路判斷為7，跟我們人類判斷相同，我們可以知道由訓練的結果可看得到不錯的準確度．

執行神經網路遇到不少問題，請參考下面連結，是筆者所整理的問題集，請多多指教https://programdoubledragon.blogspot.com/2019/08/python-ai_5.html

#確定使用深度學習套件tensorflow
%env KERAS_BACKEND=tensorflow

%matplotlib inline

#載入相關函式庫
import numpy as np
import matplotlib.pyplot as plt
import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

#讀入MNIST的數據庫
from keras.datasets import mnist 
(x_train, y_train),(x_test, y_test) = mnist.load_data()
#驗證len(x_train),len(y_train)是不是六萬筆資料
len(x_train)
len(y_train)


#輸出一筆看看
#x_train[9487].shape
#(28,28)
#輸出矩陣
#x_train[9487]
#輸出圖片
#plt.imshow(x_train[9486], cmap='Greys')
#y_train[9487]

#輸入格式整理
x_train.shape

#輸入格式整理:因為類神經網路，只能平平的資料，所以需要用reshape重新將
x_train = x_train.reshape(60000, 784)
x_test  = x_test.reshape(10000, 784)

#輸出 one-hot encoding
from keras.utils import np_utils
y_train = np_utils.to_categorical(y_train, 10)
y_test = np_utils.to_categorical(y_test, 10)
#9487可以看出[0,1,0,0,0,0,0,0,0,0]
y_train[9487]

#===========================神經網路模型============================
# 隱藏層: 兩個隱藏層，每個有500神經元
# 學習模型:SGD
#
#=================================================================
from keras.models import Sequential
from keras.layers import Dense, Activation
from keras.optimizers import SGD

#建立空的神經網路
model = Sequential()

#第一層隱藏層神經網路：建立500個神經元，輸入矩陣資料784個元素
model.add(Dense(500, input_dim=784))
#激發函式為sigmoid
model.add(Activation('sigmoid'))
#第二層隱藏層神經網路：建立500個神經元，輸入矩陣資料784個元素
model.add(Dense(500))
model.add(Activation('sigmoid'))
#輸出10維
model.add(Dense(10))
#激發函式為softmax，表示輸出只會是1，因為輸出陣列的位置表示為數字，例如：y[3]=1表示輸出為3;
model.add(Activation('softmax'))

#compile你的神經網路
#loss='mse'將誤差平方起來且平均
#optimizer=SGD(lr=0.1) lr為學習率
#metrics=['accuracy'] 可以查看正確率
model.compile(loss='mse', optimizer=SGD(lr=0.1) ,  metrics=['accuracy'])
#查看神經網路的模型
#model.summary()

# 驗證第一層：784X500+500(biase)=392500
# 驗證第二層：500X500+500(biase)=250500
# 輸出：500*10+10=5010

#終於來到最後輸出
#每100筆重新調整一次參數，並訓練次
model.fit(x_train, y_train, batch_size=100, epochs=20)


from ipywidgets import interact_manual
predict = model.predict_classes(x_test)

#建立測試函式
def test(測試編號):
    plt.imshow(x_test[測試編號].reshape(28,28), cmap='Greys'  )
    print('神經網路判斷為' , predict[測試編號])

#執行
interact_manual(test, 測試編號=(0,9999))

#儲存神經網路模型
#因為模型是以json格式，所以我們先用model_json來儲存
model_json = model.to_json()
#利用檔案的方式儲存
open('handwriting_model_arch.json','w').write(model_json)
model.save_weights("handwriting_model_arch.h5")

參考

1.http://moocs.nccu.edu.tw/media/23062
2. MNIST_database 維基百科
3. keras - 优化器 Optimizers
4. 資料：手寫六萬筆資料