RAG（檢索增強生成）課程重點整理 RAG，全名為檢索增強生成（Retrieval-Augmented Generation），有時也稱作檢索增強語言模型（Retrieval-Augmented Language Model, RALM）。它是一種旨在透過允許語言模型從外部來源檢索資訊來增強其能力的技術。 一、 RAG 的基本框架與必要性 1. RAG 是什麼？ RAG 是一種提升語言模型（LM）能力的方法，使其能「查閱」外部知識庫，而非僅依賴訓練時所學的靜態資訊。 2. RAG 為何必要？語言模型的局限性： 長尾知識與幻覺 (Hallucination) ：語言模型難以準確回憶訓練資料中不常出現的「長尾」資訊，容易產生看似合理但實際上錯誤的「幻覺」。例如，模型能正確識別蔡英文，但可能對陳縕儂的細節產生幻覺。RAG 透過查詢外部知識來補充這些「小眾」知識。 知識過時 (Outdated Knowledge) ：語言模型的知識固定在其訓練時間點，無法獲取即時或頻繁更新的資訊（如即時股價、最新選舉結果）。雖然「知識編輯」是更新LM知識的研究領域，但RAG提供了一種透過即時資料檢索來解決過時知識的方法。 缺乏溯源性與可驗證性 (Lack of Traceability and Verifiability) ：傳統語言模型通常不提供資訊來源，難以驗證其答案。RAG 可以為檢索到的文件提供明確的來源，提升答案的可驗證性。 3. 基本 RAG 的實作流程 (早在2020年就已存在) 最基礎的 RAG 方法包含在生成過程開始時進行單次檢索： 查詢輸入 (Query Input) ：使用者提供一個查詢。 檢索 (Retrieval) ：檢索器元件從外部知識來源（如網路或內部資料庫）搜尋相關的文本片段或文件，這就像是當你不確定時「打開書本」查找資訊。 拼接 (Concatenation) ：將檢索到的資訊直接與原始查詢拼接起來。 生成 (Generation) ：這個組合後的輸入（查詢 + 檢索到的上下文）隨後被送入語言模型的輸入層，LM 根據這些資訊生成回應。這種方法能顯著減少幻覺並解決資訊過時問題。WebGPT 模型就是一個例子，它模仿人類搜尋行為，生成搜尋查詢，選擇相關結果，並引用來源來回答知識密集型問題。 二、 進階 RAG 技術：提升性...
評估模型好壞 淺談機器學習原理筆記-- 評估模型好壞 MSE (Mean Squared Error) 是用來評估模型預測值與實際值之間差異的一種常用指標。將預測誤差平方後平均，懲罰大誤差， MSE 的值越小，表示模型的預測越準確。公式如下： M S E = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 MSE = n 1 i = 1 ∑ n ( y i − y ^ i ) 2 其中： ( n ) 是樣本數量 ( y_i ) 是實際值 ( \hat{y}_i ) 是模型的預測值 適合用 MSE 的情境 : 回歸（Regression）問題 不適合用 MSE 的情境 : 資料尺度差異大 : 對離群值敏感的場景:資料裡常有極端值 分類問題（Classification） RMSE (Root Mean Squared Error) RMSE (Root Mean Squared Error) RMSE 是 MSE 的平方根，能夠將誤差的單位與原始數據保持一致，因此更容易解釋。公式如下： R M S E = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 RMSE = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2} RMSE = n 1 i = 1 ∑ n ( y i − y ^ i ) 2 其中： ( n ) 是樣本數量 ( y_i ) 是實際值 ( \hat{y}_i ) 是模型的預測值 適用情境 : 與 MSE 類似，適合回歸問題。 結果的單位和原數據一樣，例如房價是 $10,000，那 RMSE = 8,...