監督學習與無監督學習：差異、好處與用例

機器學習 (ML) 為我們日常依賴的許多技術提供支持，例如圖像識別和自動駕駛汽車。兩種基本方法——監督學習和無監督學習——構成了這些系統的支柱。雖然兩者都是訓練機器學習模型的關鍵，但它們在方法、目標和應用方面有所不同。

在本指南中，我們將比較這兩種方法，突顯它們的差異，並探討它們的優點和挑戰。我們還將探索實際應用，以幫助您了解哪種方案最適合各種任務。

目錄

• 什麼是監督學習？
• 什麼是無監督學習？
• 有監督與無監督：主要區別
• 監督學習和無監督學習的好處
• 監督和無監督學習的挑戰
• 監督和非監督學習的應用
• 結論

什麼是監督學習？

監督學習使用標記資料訓練機器學習系統。在這種情況下，「標記」意味著每個訓練範例都與已知輸出配對。這些標籤通常由專家創建，幫助系統了解輸入和輸出之間的關係。經過訓練後，監督系統可以將這些學習到的關係應用到新的、看不見的資料中，以進行預測或分類。

例如，在自動駕駛汽車的背景下，監督學習系統可能會分析標記的視訊資料。這些註釋可識別街道標誌、行人和障礙物，使系統能夠識別並回應現實駕駛場景中的類似特徵。

監督學習演算法分為兩大類：

• 分類：這些演算法為新資料分配標籤，例如將電子郵件識別為垃圾郵件或非垃圾郵件。
• 迴歸：這些演算法預測連續值，例如根據過去的表現預測未來的銷售額。

隨著資料集的成長和運算資源的改善，監督系統變得更加準確和有效，支援詐欺偵測和醫療診斷等應用。

什麼是無監督學習？

相較之下，無監督學習在沒有標記範例的情況下分析數據，並依靠統計演算法來發現隱藏的模式或關係。與監督系統不同，這些模型會推斷結構並在新資訊可用時動態更新其發現。雖然無監督學習在模式發現方面表現出色，但對於預測任務通常效果較差。

一個實際的例子是新聞聚合服務。這些系統會將有關突發新聞事件的相關文章和社交媒體貼文分組，而無需外部標籤。透過即時識別共性，他們進行無監督學習以突出關鍵故事。

以下是一些專門的無監督學習演算法：

• 聚類：用於細分消費者並根據行為變化調整細分。
• 關聯：這些偵測資料中的模式，例如識別可能表示安全漏洞的異常情況。
• 降維：這些可以簡化資料結構，同時保留關鍵訊息，並且通常用於壓縮和視覺化複雜資料集。

無監督學習是探索性資料分析和在標記資料不可用的情況下揭示見解的不可或缺的一部分。

有監督與無監督：主要區別

監督學習和無監督學習在機器學習中扮演不同的角色。這些方法在資料需求、人員參與、任務和應用程式方面有所不同。下表突顯了這些差異，我們將進一步探討這些差異。

訓練階段的差異

兩種演算法之間的主要區別在於它們所依賴的資料集的類型。監督學習受益於大量標記數據。因此，最先進的監督系統依賴大規模、非專業的人力來篩選資料並產生標籤。標記資料的處理通常也需要更多的資源，因此受監督的系統無法處理盡可能多的資料。

無監督學習系統可以在較小的資料集上開始發揮作用，並且可以使用相同的資源處理大量的資料。他們的數據更容易取得和處理，因為它不依賴大規模、非專業的人力。作為權衡，系統通常無法在預測任務上實現如此高的準確度，並且通常依賴專門的工作才能發揮作用。它們不是在準確性至關重要的地方使用，而是更頻繁地用於在資料變更時大規模推斷和更新資料模式。

部署時的差異

監督學習應用程式通常具有內建機制來大規模獲取更多標記資料。例如，電子郵件使用者可以輕鬆標記傳入的郵件是否為垃圾郵件。電子郵件提供者可以將標記的訊息累積到訓練集中，然後訓練邏輯回歸系統以進行垃圾郵件檢測。他們犧牲了更長、更資源密集的培訓，以換取部署時更快的決策。除了邏輯迴歸系統之外，其他常見的監督訓練演算法包括決策樹和神經網絡，它們普遍用於預測和決策以及複雜的模式識別。

當應用於涉及大量非結構化資料的問題時，無監督系統會脫穎而出。它們可以檢測資料中的模式，即使它們是暫時的，並且必須在監督學習訓練完成之前檢測到。例如，聚類演算法（一種無監督學習系統）可以隨著趨勢的變化檢測和更新消費者群體。如果趨勢轉向新的、看不見的模式，它們仍然具有相關性，無需停機進行再培訓。

無監督學習的例子是主成分分析（PCA）在金融領域的應用。 PCA 是一種可大規模應用於投資組的演算法，有助於推斷和更新投資組的新興屬性。其中包括重要的財務指標，例如最重要的投資風險來源和可能影響回報的因素。其他常見類型的無監督學習系統是自動編碼器，它壓縮和簡化數據，通常作為應用其他機器學習演算法之前的準備步驟。

監督學習和無監督學習的好處

監督系統和無監督系統都可用於以超過無人幫助的人類的規模和速度處理資料。然而，它們最適合不同的應用。下面，我們將它們對比它們的一些主要優點。

監督系統

• 當有重要歷史資料可用時使用 Excel
• 對於具有已知結構、特徵和模式的訓練數據，比無監督系統好得多
• 非常適合大規模檢測和應用資料的已知特徵
• 可以產生人類可以理解並具有直覺意義的結果
• 對新數據和未見過的數據可以有更高的準確性
• 與無監督系統相比，可以更快、更大規模地進行預測

無監督系統

• 特別擅長識別資料中以前未見過或未知的結構和關係
• 當資料結構較少且其屬性較不為人所知時表現良好
• 在受監督系統無法正常運作的某些情況下工作（例如，在資料不可用或資料可用但未經人類處理的情況下）
• 與同等資料量的監督系統相比，訓練期間需要較少的資源和時間
• 當有太多資料無法用監督系統很好地處理時，可以進行訓練和使用

監督和無監督學習的挑戰

有監督和無監督系統各自做出不同的權衡，它們面臨的挑戰有時也截然不同。我們在下面重點介紹一些主要差異。

監督系統

• 需要存取大量人工處理的數據，這些數據有時可用或易於獲取
• 通常有更長、資源較密集的訓練階段
• 如果核心資料特徵發生變化，可能很難快速適應
• 處理固有的非結構化資料（例如視訊或音訊）時面臨挑戰

無監督系統

• 將更頻繁地檢測不能很好地推廣到新數據範例的模式
• 可能很難像監督系統一樣準確
• 它們產生的結果是人類難以解釋的，而這些結果的解釋可能更加主觀。
• 在現實世界中做出的每個預測可能需要更多的時間和資源

監督和非監督學習的應用

有些應用程式和問題最好使用監督學習系統來解決，有些應用程式和問題最好使用無監督系統來解決，有些應用程式和問題最好使用混合系統。這是三個眾所周知的例子。

混合式學習系統與半監督式學習

值得注意的是，大多數現實應用程式混合使用有監督和無監督模型。學習系統通常根據預算、資料可用性、效能要求和工程複雜性等因素進行組合。有時，也可能會使用嘗試融合兩種方法（半監督學習）優點的專門學習演算法子集。在下面的範例中，我們指出了最有可能使用的或主要的系統。

交通預測（監督）

交通預測是一項具有挑戰性的任務。幸運的是，由於城市定期審核和記錄道路交通量，因此可以獲得大量標記資料。迴歸演算法是一種監督式學習，很容易應用於這些數據，並且可以對交通流進行相當準確的預測。他們的預測可以幫助為有關道路建設、交通標誌和交通號誌放置的決策提供資訊。無監督演算法在此階段效果較差。然而，它們可以根據道路結構變化後累積的交通數據來運作。那時，它們可以幫助自動識別和推斷是否可能出現任何新的和以前未見過的問題。

遺傳聚類（無監督）

遺傳數據的分析可能緩慢且繁瑣，因為數據量很大且大多數數據沒有得到很好的分析。我們通常不太了解遺傳數據包含什麼——基因和其他遺傳成分可能儲存在基因組中的位置、它們如何解碼和解釋等。它包含哪些模式。它們還可以幫助將相似的遺傳資訊收集到不同的簇中。一旦遺傳數據根據相似性進行聚類，就可以輕鬆地處理和測試這些聚類，以確定它們所具有的生物學功能（如果有）。

法學碩士和強化學習（混合）

大型語言模型 (LLM) 是結合了無監督和監督學習系統的應用程式範例。最初的系統，即法學碩士，通常是無監督系統的一個例子。為了獲得法學碩士學位，需要透過無監督系統對大規模數據（例如互聯網上可用的所有英語文本）進行分析。該系統從數據中推斷出許多模式，並制定了英語交談的基本規則。

然而，法學碩士所做的推論並不能很好地幫助其在談話中聽起來像一個典型的人。他們也無助於它考慮個人的溝通偏好。監督系統——具體來說，是使用使用者註釋的回饋的強化系統（稱為人類回饋強化學習，簡稱 RLHF）——是解決這個問題的一種方法。 RLHF 可以應用於已經接受過培訓的法學碩士，以幫助其與人類進行良好的溝通。它還可以了解個人偏好並以特定人喜歡的方式說話。

結論

總之，監督學習和無監督學習是機器學習的兩個基本子集，每個子集都有獨特的優勢。監督學習在具有豐富標記資料、充足的前期訓練資源以及需要快速、可擴展決策的場景中表現出色。另一方面，無監督學習在發現資料中隱藏的結構和關係時表現出色，尤其是當標記資料或訓練資源有限且決策可以容納更多時間和複雜性時。透過了解這兩種方法的優點、挑戰和用例，您可以就何時以及如何有效地應用它們做出明智的決定。