Python AI-神經網路

神經網路

標準NN

(1) 定義：

Fully Connected Neural Networks(NN)
1980年開始流行
輸入層隱藏層輸出層
深度學習就是超過3層以上的隱藏層，每一層需要多少神經元
每個神經元的動作是相同的
多個輸入對應多個權重、一個輸出

(2) 類神經網路圖示
我們可以將類神經網路是由很多神經元所組成，架構上可分為三層，第一層為輸入層(input layer)這一層是用來接收外面的資料，有可能是圖片、聲音、數字等等；第二層為隱藏層(hidden layer)用來訓練資料找到最佳函式表達(最佳解)，此層可以多層的神經元組成；第三層輸出層(output layer) 將最佳解做輸出，此層只會有一個輸出．

神經元如何動作：每個神經元的動作是相同的，例如：H1接收到X1和X2的輸入值，反饋輸出不管輸入有幾條連結H1，他輸出值都會相同．
enter image description here

(3)公式解說
每個輸入的神經元都會有權重值(w1、w2…)，這些權重值用來決定輸入值的比重，如果輸入值會影響輸出比較重，我們可以給他比較重的權重值．

公式1: 在所有輸入x權重的加總+b(調整值)可以得出一個輸出，如果這個輸出無法滿足答案，請看公式2
公式2: 通常輸出加上激活函數是才是最後的輸出答案

enter image description here

(3)激活函數(Active Function)
類神經網路需要激活函數的目的在公式1可以看到乘績之和所得到的結果，只是得到線性關係解．通常問題的本質大多為非線性，利用激活函數將輸出得到一個非線性的表達式，藉此達到問題的近似解．

＊常見的激活函數

Sigmoid :模仿人類的類神經，輸入的刺激很小時，輸出就是0，反之輸出很大時，輸出也不會超過1
ReLU: 當輸入小於0，輸出就是0；輸入大於0，輸出等於輸入

enter image description here
參考：Mr. Opengate## 深度學習：使用激勵函數的目的、如何選擇激勵函數 Deep Learning : the role of the activation function

(4)神經網路訓練
神經網路可以透過訓練資料的方式來找到問題的解，所以我們可以定義一組訓練資料集{(X1,Y1)、(X2,Y2)、(X3,Y3)…}，透過神經網路輸出可以發現有誤差值產生，利用平方的方式來可以獲取準確誤差值（因為用加總有可能會得到0），將誤差值再次輸入調整原函式，希望可以漸漸得到loss function差異越小，表示接近真實的函式表達

Loss Function:用來測量利用神經網路得到的函式與正確的函式差異值，如果loss function越小表示接近正確函式．
enter image description here

(5)神經網路訓練過程
神經網路的公式，會透過資料學習所去調整函式，我們可以知道新的權重Ｗx是由舊的所去取得，

enter image description here
參考：Backpropagation Step by Step
*Ｗ表示更新後的權重
Ｗ表示舊的權重
a 學習速率
error/w斜率

參考

留言

這個網誌中的熱門文章

JavaBean 和POJO

前言今天介紹JavaBean和POJO的不同，這兩個名詞在JAVA文章常常被拿來使用以及討論。在JDK1.1時候釋出才有的一個標準架構，很多時候常常被搞混，所以我們特別開闢一章來加以討論。POJO規範在企業級應用已經廣大的被使用的規範。解釋 POJO : 全名為Plain-old-Java-object，只需要繼承Object就可以，沒有特定規定，只要建立的類別有setter/getter方法都可以稱為POJO JavaBean: JavaBean通常用來封裝多個物件成為單獨物件使用，規範比較嚴格，規則如下規則說明 1 需要實作序列(Serializable/Externalizable) 2 不能有參數的建構子( no-arg constructor) 3 需要有公用setter/getter 4 屬性必須要私人(private) 5 屬於特定POJO規則比較所有的JavaBean都為POJO，但是所有的POJO不一定為JavaBean 都可以當作重複元件都必須序列化特性都為可用性、易用性和持久化使用 - 應用由圖我們可以知道POJO在應用程式中，主要用來存取資料庫資料達到持久化的目的，並提供給商業邏輯流程處理使用。這種POJO的架構提供程式人員開發時的可以很有規則將資料封裝並加以使用。範例1. JavaBean(以員工為實例) JavaBean建立員工物件，可以發現Employee物件建構子沒有任何參數，屬性為私有化並setter/getter的命名方式。 //實作序列化 public class Employee implements java.io.Serializable{ private int id; private String name; //無參數建構子 public Employee(){} //以下實作setter/getter public void setId(int id){this.id=id;} public int getId(){return id;} public void setName(String ...

閱讀完整內容

GSON基礎教學

GSON 前言 JSON是很常見的資料交換格式，在JAVA領域常用處理JSON的函式庫:GSON、FastXML和JSON-B，本章節會以GSON為主，學習目標如下 JSON格式說明 GSON 套件函式 GSON: 物件轉換JSON字串 GSON: JSON字串轉換物件 JSON 格式說明 JSON全名為JavaScript Object Notation，它是一種輕量級的資料交換格式，會大為流行的理由，主要是他比傳統用xml更輕巧且容易處理， JSON表達方式物件會用大括弧{}，陣列則是用中括號[]。用JSON字串來表達Employee的物件內容，由JSON字串可以知道物件name、age、sex和salary屬性。 JSON表示員工資料方式: {“name”:”Jack Bryant”, “age”:18, “sex”:”M”,”salary”:3500.00} JSON陣列表示方式: 跟我們使用JAVA的陣列方式類似，內容值可以是數字’、文字、布林、陣列、物件、null等等。範例: 字串: [“紅”、”橙”、”黃”、”綠”、”青”、”藍”、”紫”} 布林: [true, true, false, false, true, true] GSON 套件函式 Gson為google所發布的函式庫，主要將物件與json字串之間的轉換時方便使用。當我們將JAVA物件轉換成JSON字串稱為序列化，JSON字串轉換至JAVA物件稱為反序列化。 GSON: 物件轉換JSON字串有了JSON基本概念後，我們進入本章重點，首先我們需要建立員工類別(Employee)，定義如下物件屬性員工類別 Employee name 名字 age 年紀 sex 性別 salary 薪水 /** * name:員工類別 */ public class Employee implements Serializable { //constructor public Employee(String name, double salary){ this.name = name; this.sala...

閱讀完整內容

H2資料庫(1)-基本安裝與介紹

H2資料庫介紹 H2為嵌入式資料庫，使用java開發，跨平台且內含資料庫管理介面，好處開發階段方便開發人員使用。比較詳細比較表: http://www.h2database.com/html/features.html#comparison 由圖比較可以知道，H2比其他資料庫更為優勢，以下會介紹開發時常用的模式: 嵌入式模式Embedded Mode 嵌入式資料庫會與應用程式共用同一JVM底層，在這個模式下persistent或是in-memory資料庫都支援，也沒有連線數的限制。但壞處是只可以給該應用程式使用，其他人無法直接存取資料庫。伺服器模式 Server Mode 外部應用程式可以藉由JDBC或是OBC的方式連結該資料庫，它也支援persistent或是in-memory資料庫，也沒有連線數的限制。混合模式 Mixed Mode 同時有嵌入式與伺服器的模式去讓外部應用程式連線或是自己應用程式連線。安裝H2 database 官方網站: http://www.h2database.com/html/main.html 下載安裝程式出現安裝連結，本次範例使用 Windows installer 的安裝連結下載安裝程式後，點擊兩下，進入安裝畫面，按”下一步” 一直按”下一步”後，會出現”完成” 安裝完成後，會出現一個說明網頁，你可以點選Quickstart 它會告訴你，如何進入DBRMS畫面以及開啟資料庫服務開啟windows的視窗圖示，執行 H2 Console後，會執行H2資料庫進入DBRMS的登入畫面，使用者預設為”SA”，密碼為空值”“，按下”connect”進入，SQL命令中心登入後，可以在空白處執行SQL語法 8.大致上安裝H2資料庫滿快速，操作畫面也是很好上手，如果系統在開發階段個人覺的滿推薦給大家使用看看。參考 H2官方網站

閱讀完整內容

無聊看看

搜尋此網誌