監督學習：它是什麼以及它如何運作

從圖像識別到垃圾郵件過濾，在這本內容豐富的指南中，了解監督學習如何為我們每天遇到的許多人工智慧應用提供支援。

目錄

• 什麼是監督學習？
• 監督學習與無監督學習
• 監督學習如何運作
• 監督學習的類型
• 監督學習的應用
• 監督學習的優點
• 監督學習的缺點

什麼是監督學習？

監督學習是機器學習 (ML) 的一種，它使用標有正確答案的資料來訓練模型。術語「監督」意味著這些標籤為輸入和輸出之間的關係提供了明確的指導。此過程有助於模型對新的、未見過的數據做出準確的預測。

機器學習是人工智慧 (AI) 的一個子集，它使用資料和統計方法來建立模仿人類推理的模型，而不是依賴硬編碼指令。監督學習採用引導式、數據驅動的方法來識別標記資料集中的模式和關係。它根據評估進行推斷，以預測新的、未見過的數據的結果。它透過將其預測與已知標籤進行比較並調整其模型以最大程度地減少錯誤來進行學習。

監督學習與無監督學習

與使用標記資料的監督學習相反，無監督學習在未標記資料中發現模式。

如果沒有訓練資料中明確的正確答案提供的“監督”，無監督學習會將其看到的所有內容視為資料來分析模式和分組。三種主要類型是：

• 聚類：此技術將彼此最相鄰的資料點進行分組。它對於客戶細分或文件排序很有用。
• 關聯：確定事物何時會同時發生，最值得注意的是，將經常一起購買的物品放在一起或建議接下來要播放的內容。
• 降維：縮小資料集使其更易於處理，同時保留全部或大部分細節。

另一方面，當您希望模型做出決策時，監督學習就有意義。主要應用包括：

• 是或否決策：將資料標記為一類或另一類。通常用於過濾垃圾郵件或詐欺偵測。
• 分類：找出某物屬於哪幾個類別，例如辨識影像中的物件或辨識語音。
• 迴歸：根據歷史資料預測連續值，例如預測房價或天氣狀況。

其他類型的機器學習介於這兩者之間：半監督學習、強化學習和自我監督學習。

監督學習如何運作

監督學習涉及選擇和格式化資料、運行模型以及測試其性能的結構化過程。

以下是監督學習過程的簡要概述：

1標記：標記資料對於學習輸入和輸出之間的正確關聯至關重要。例如，如果您要建立模型來分析產品評論中的情緒，請先讓人類評估員閱讀評論並將其標記為正面、負面或中立。

2資料收集與清理：確保您的訓練資料全面且具代表性。透過刪除重複項、修正錯誤和處理任何缺失值來清理數據，為分析做好準備。

3特徵選擇與提取：識別和選擇最有影響力的屬性，使模型更有效率和有效。此步驟還可能涉及從現有特徵建立新特徵，以更好地捕獲資料中的潛在模式，例如將出生日期轉換為年齡。

4資料分割：將資料集分為訓練集和測試集。使用訓練集來訓練模型，並使用測試集來查看它對新的、未見過的資料的推廣效果如何。

5演算法選擇：根據任務和資料特徵選擇監督學習演算法。您還可以運行並比較多種演算法以找到最佳的一種。

6模型訓練：利用資料訓練模型，提升預測精度。在此階段，模型透過迭代最小化其預測與訓練資料中提供的實際標籤之間的誤差來學習輸入和輸出之間的關係。根據演算法的複雜性和資料集的大小，這可能需要幾秒鐘到幾天的時間。

7模型評估：評估模型的效能可確保其對新資料產生可靠且準確的預測。這是與無監督學習的關鍵區別：由於您知道預期輸出，因此您可以評估模型的執行情況。

8模型調整：調整和重新訓練模型的參數以微調表現。這個迭代過程稱為超參數調整，旨在優化模型並防止過度擬合等問題。每次調整後應重複此程序。

9部署和監控：部署經過訓練的模型以對現實環境中的新資料進行預測。例如，部署經過訓練的垃圾郵件偵測模型來過濾電子郵件、監控其效能並根據需要進行調整。

10隨著時間的推移進行微調：當您收集更多的真實數據時，請繼續訓練模型以變得更加準確和相關。

監督學習的類型

監督學習有兩種主要類型：分類和迴歸。每種類型都有自己的子類型和特定用例。讓我們更詳細地探討它們：

分類

分類涉及預測輸入屬於哪個類別或類別。各種子類型和概念用於處理不同的分類問題。以下是一些流行的類型：

• 二元分類：模型預測兩個可能類別之一。當結果是二元時（這意味著只有兩種可能的狀態或類別），這非常有用。這種方法用於需要明確區分的決策。
• 多類別分類：類似二元分類，但有兩種以上的選擇，且只有一個正確答案。當輸入可以屬於多個類別時，使用此方法。
• 多標籤分類：每個輸入可以同時屬於多個類別。與每個輸入分配給單一類別的二元或多類分類不同，多標籤分類允許將多個標籤分配給單一輸入。這是一個更複雜的分析，因為您需要確定包含的機率閾值，而不是僅僅選擇輸入最有可能屬於哪個類別。
• 邏輯迴歸：迴歸（見下文）在二元分類中的應用。這種方法可以告訴您其預測的置信度，而不是簡單的這樣或那樣。

有多種方法可以衡量分類模型的質量，包括：

• 準確度：總共有多少預測是正確的？
• 精確度：有多少陽性結果其實是陽性的？
• 回想一下：有多少實際陽性被標記為陽性？
• F1 分數：在 0% 到 100% 的範圍內，模型平衡精確度和召回率的情況如何？

回歸

迴歸涉及根據輸入特徵預測連續值，輸出也可以稱為預測的數字。各種類型的迴歸模型用於捕捉這些輸入特徵和連續輸出之間的關係。以下是一些流行的類型：

• 線性迴歸：將輸入特徵和輸出之間的關係建模為直線。此模型假設因變數（輸出）和自變數（輸入）之間存在線性關係。目標是找到通過數據點的最佳擬合線，以最小化預測值和實際值之間的差異。
• 多項式迴歸：比線性迴歸更複雜，因為它使用多項式（例如平方和立方）來捕捉輸入和輸出變數之間更複雜的關係。該模型可以透過使用這些高階項來擬合非線性數據。
• 嶺迴歸與套索迴歸：解決過度擬合的問題，過度擬合是模型以犧牲泛化為代價讀取過多訓練資料的傾向。嶺迴歸降低了模型對小細節的敏感性，而套索迴歸則消除了較不重要的特徵。

大多數迴歸品質的測量都與預測與實際值的偏差有關。他們回答的問題是：

• 平均絕對誤差：平均而言，預測值與實際值相差多少？
• 均方誤差：當誤差越大越顯著時，誤差會增加多少？
• 均方根誤差：大誤差會導致預測值與實際值的偏差有多大？
• R 平方：迴歸與資料的擬合程度如何？

監督學習的應用

監督學習在各行業都有廣泛的應用。以下是一些常見範例：

• 垃圾郵件偵測：電子郵件服務使用二進位分類來決定電子郵件是否應該進入您的收件匣或被路由到垃圾郵件。他們不斷改進以回應人們將垃圾郵件資料夾中的電子郵件標記為非垃圾郵件，反之亦然。
• 影像辨識：模型在標記影像上進行訓練以識別和分類物件。例如，Apple 的 Face ID 功能（可解鎖平板電腦或行動裝置）、光學字元辨識 (OCR)（將印刷文字轉換為數位文字）以及自動駕駛汽車的物體偵測。
• 醫療診斷：監督模型可以使用病患資料和醫療記錄來預測疾病並提出潛在的診斷建議。例如，可以訓練模型來識別 MRI 中的癌性腫瘤或製定糖尿病管理計劃。
• 詐欺偵測：金融機構使用監督學習透過分析標記交易資料中的模式來識別詐欺交易。
• 情緒分析：無論是測量正面或負面的反應或情緒（例如快樂或厭惡），手動標記的資料集都會通知模型解釋社交媒體貼文、產品評論或調查結果等輸入。
• 預測性維護：根據歷史性能數據和環境因素，模型可以預測機器何時可能發生故障，以便在故障發生之前進行維修或更換。

監督學習的優點

• 準確且可預測。假設他們獲得了良好的數據，監督學習模型往往比其他機器學習方法更準確。更簡單的模型通常是確定性的，這意味著給定的輸入將始終產生相同的輸出。
• 目標明確。感謝監督，您知道您的模型想要實現什麼目標。這與無監督學習和自監督學習形成了鮮明的對比。
• 易於評估。您可以使用多種品質衡量標準來判斷分類和迴歸模型的準確性。
• 可解釋的。監督模型使用迴歸和決策樹等技術，這些技術對於資料科學家來說相對簡單易懂。可解釋性提高了決策者的信心，尤其是在高影響力的環境和受監管的行業。

監督學習的缺點

• 需要標記數據。您的資料必須有清晰的輸入和標籤。這對於分類訓練來說通常是一個挑戰，因為有成千上萬（如果不是數百萬人）的人需要手動註釋資料。
• 訓練資料中的錯誤和判斷不一致。人類標籤帶來了人類的謬誤，例如錯誤、拼字錯誤和不同的意見。後者是情感分析中特別具有挑戰性的一個面向；高品質的情緒訓練資料通常需要多人評估給定的資料點，只有在達成一致的情況下才記錄結果。
• 過度擬合。通常，模型會提出對於訓練資料非常有效的計算，但對於尚未見過的資料則效果不佳。細心的培訓師總是會尋找過度擬合的情況並使用技術來減少影響。
• 僅限於已知模式。如果你的股價預測模型僅基於多頭市場的數據，那麼一旦熊市來襲，它就不會很準確。因此，請對模型所顯示的數據的限制保持敏感，並考慮是否尋找能夠使其暴露於更多環境的訓練數據，或者只是忽略其輸出。