跳到主要內容

淺談機器學習原理-概念

機器學習

淺談機器學習原理筆記--

機器學習

  • Learing : 人類學習是透過各種觀察(observatoins)去學到能力 ， 輸入:觀察、輸出:能力
  • Machine Learning : 機器是透過各種資料的方式來學習到能力 ，輸入:資料、輸出:功能

範例: 使用股票資料來預測投資的方向。

總結: 我們希望機器可以像人一樣，透過學習就可以獲得技能，機器學習就像在解決一個任務(Y)透過資料(X)和找到一個方程式(F)來求出接近任務的解。Y = F(X) ，常用的範例:語音辨識、天氣預測、股票預測、圖片辨識、機器玩遊戲。簡單說機器學習利用資料與合適的模型來解決一個複雜的問題，通常這個問題無法使用簡單程式來解決。

Artifical Intelligence(AI) Machine Learning(ML)
說明 希望模擬人的智慧行為 透過資料學習來改善整體效能
範例 資料、演算法 資料、演算法
集合關係 AI AI的子集合

機器學習先決條件 :

  1. 解析問題的複雜度，是否真的需要建立模型來解決
  2. 必須有資料並需要處理
  3. 從資料中建立模型(Hypothesis)
  4. 選擇測量誤差的方法，模型得到的解與現實結果的誤差
  5. 建立模型到正式環境(沒有學習過的資料)，也可以達到正確解

範例: KDD 2010 出題系統可以根據過去的練習，去調整出題的難度=> binary classifiation

機器學習過程

  • 問題公式 上圖表視輸入、輸出、資料和Hypothesis(模型)、f 現實世界答案

Step 0 : 定義問題是否需要使用ML

(1) 先理解這個問題是否需要透過ML來處理，如果可以使用if-else或是簡單邏輯判斷來解決，表示問題簡單，不需要使用ML來解決。ML通常解決比較複雜的問題，像股票預測是否可以使用ML來預測未來趨勢。 (2) 是否有資料跟結果有關聯

Step 1 : 收集資料

收集資料並且都須要有正確答案，範例: KDD 2010 出題系統可以根據過去的練習，去調整出題的難易度=> binary classifiation。

Step 2 : 定義模型

假設用線性方程式來舉例

透過資料特徵 x = (x1, x2 , ... xc)，計算x乘上權重後相加，超過threshold就為1，否之為0。

我們可以假設模式為下面公式，幫我們WX>threshold，可以得到sign(0)=1，反之為-1

使用Perceptron的一次線性方程式來處理現實問題，也可以用來處理AND、OR、NOT的邏輯問題，但是無法處理XOR的問題。

Step 3 : 測量誤差

希望理想解為error趨近於0 => g(x)-f(x)=0，但實際上會有個誤差error，我們在In-sample(已經訓練過的資料)將每個g(x)-f(x)集合相加在求出平均，就是實際上誤差。Out-of-sample就是可以在實際環境上可以得到正確的解答。

ML 框架

參考資料

https://www.youtube.com/watch?v=_j9MVVcvyZI&list=PLJV_el3uVTsPM2mM-OQzJXziCGJa8nJL8&index=2
https://www.youtube.com/watch?v=redFUcvGcYU&list=PLOAQYZPRn2V658cD6AjiBmKohfMIevWO7&index=2
https://www.csie.ntu.edu.tw/~cjlin/libsvm/
https://kdd.org/kdd-cup/view/kdd-cup-2010-student-performance-evaluation/Data

標籤：

留言

張貼留言

這個網誌中的熱門文章

GSON基礎教學

GSON 前言 JSON是很常見的資料交換格式，在JAVA領域常用處理JSON的函式庫:GSON、FastXML和JSON-B，本章節會以GSON為主，學習目標如下 JSON格式說明 GSON 套件函式 GSON: 物件轉換JSON字串 GSON: JSON字串轉換物件 JSON 格式說明 JSON全名為JavaScript Object Notation，它是一種輕量級的資料交換格式，會大為流行的理由，主要是他比傳統用xml更輕巧且容易處理， JSON表達方式物件會用大括弧{}，陣列則是用中括號[]。 用JSON字串來表達Employee的物件內容，由JSON字串可以知道物件name、age、sex和salary屬性。 JSON表示員工資料方式: {“name”:”Jack Bryant”, “age”:18, “sex”:”M”,”salary”:3500.00} JSON陣列表示方式: 跟我們使用JAVA的陣列方式類似，內容值可以是數字’、文字、布林、陣列、物件、null等等。 範例: 字串: [“紅”、”橙”、”黃”、”綠”、”青”、”藍”、”紫”} 布林: [true, true, false, false, true, true] GSON 套件函式 Gson為google所發布的函式庫，主要將物件與json字串之間的轉換時方便使用。當我們將JAVA物件轉換成JSON字串稱為 序列化 ，JSON字串轉換至JAVA物件稱為 反序列化 。 GSON: 物件轉換JSON字串 有了JSON基本概念後，我們進入本章重點，首先我們需要建立員工類別(Employee)，定義如下 物件 屬性 員工類別 Employee name 名字 age 年紀 sex 性別 salary 薪水 /** * name:員工類別 */ public class Employee implements Serializable { //constructor public Employee(String name, double salary){ this.name = name; this.sala...
張貼留言
閱讀完整內容

PHP與Python搭配

今天介紹如何利用php網頁呼叫目錄下的python程式工作或是資料交換，本人整理的方法有兩種 使用system()、exec()、shell_exec()呼叫程式 (1) string system ( string return_var ] ) 參考網址 官網解釋system()用來執行外部命令，返回為印出的結果，passthru()跟system()類似但是它不會返回結果。 範例1. 利用system執行ls指定並顯示在網頁上，無法使用變數保留ls的結果 檔案名稱: psystem.php $jsondata= system("ls -al", $result); 結果: (2) exec() : string exec ( string output [, int &$return_var ]] ) 參考網址 範例2. 利用exec執行python程式並可以回傳json格式給前端網頁做處理並顯示。我們ptopy.php就是可以看到callpy()為執行py的函式，它執行完pyEx01.py會將結果給$jsondata變數，做後面json解析。 檔案名稱: ptopy.php function callpy() { $jsondata= exec("/usr/bin/python pyEx01.py"); return $jsondata ; } $jsondata= callpy(); echo $jsondata ; echo " " ; $obj = json_decode($jsondata) ; echo "name:".$obj-> { 'name'} .',' ; echo "id:".$obj-> { 'id'} ; 檔案名稱: pyEx01.py import sys ...
張貼留言
閱讀完整內容

Python AI-問題集

Python AI-問題集 問題集 Jupyter Notebook執行ipywidgets會出現kernel死掉的錯誤發生(The kernel appears to have died) 解決方法 (1) 根據log檔來判斷問題： 例如：log訊息出現OMP: Error #15: Initializing libiomp5.dylib, but found libiomp5.dylib already initialized. (2) 根據問題關鍵字找出問題所在： 利用google查詢所遭遇到的問題，例如我把上面的問題上google查詢可以找到這篇的解法 https://blog.csdn.net/bingjianIT/article/details/86182096 (3)實作解法： 我實作下面解法後，就可以順利執行手寫辨識的程式． //在Python宣告時加入 import os os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE" 參考 https://blog.csdn.net/bingjianIT/article/details/86182096
1 則留言
閱讀完整內容