什麼是深度學習？

已發表: 2024-06-13

什麼是深度學習？

深度學習是機器學習 (ML) 的子集，它使用多層神經網絡，稱為深度神經網路 (DNN)。這些網路由許多稱為神經元或節點的互連單元組成，充當特徵檢測器。每個神經網路都有一個用於接收資料的輸入層、一個用於產生預測的輸出層以及多個用於處理資料並提取有意義的模式的隱藏層。

例如，早期層可能會偵測影像辨識網路中的邊緣和角落等簡單特徵，而較深層可能會辨識更複雜的結構，如臉部或物體。在語言處理網絡中，早期層可能會識別單個字母或聲音等基本元素，而較深層可能會理解語法、上下文，甚至句子中表達的情感。

雖然早期的神經網路只有幾個隱藏層，但深度神經網路卻有很多隱藏層，有時甚至超過一百個。增加多個隱藏層使網路更加靈活，並且能夠更好地學習泛化到訓練資料之外的複雜模式。因此，大多數現代神經網路都是深度神經網路。

使用 Grammarly 更聰明地工作

任何有工作要做的人的人工智慧寫作夥伴

深度學習與機器學習

深度學習和機器學習經常被一起提及，但又有本質差異。簡單來說，深度學習是機器學習的一種。機器學習模型是人工智慧 (AI) 的一種形式，它透過學習資料模式來做出預測。

線性迴歸、隨機森林、k 最近鄰和支援向量機等機器學習模型相當簡單，並且依賴人類定義的特徵。例如，人類提供平方英尺、臥室數量和社區特徵等特徵來預測房價。機器學習模型微調這些特徵的重要性以進行預測，但其準確性取決於所提供特徵的品質。

另一方面，深度學習模型不需要預先定義的特徵。他們在訓練期間獨立學習特徵，從隨機值開始並隨著時間的推移而改進。這使他們能夠找到人類可能錯過的重要模式，從而做出更好的預測。與更簡單的機器學習模型相比，它們還可以處理更多的功能，並且通常更擅長處理原始數據，例如圖像和文字。

儘管深度學習模型很強大，但有時更簡單的模型可能會更好。深度學習需要大量資料集，而且它們的內部工作原理可能很難理解。當您的資料較少或需要解釋模型如何進行預測時，較簡單的機器學習模型可能更合適。

深度學習如何運作

深度學習使用深度神經網路透過多層處理和分析數據，產生複雜的預測。

1輸入層

過程從輸入層開始，神經元檢測基本資訊。例如，在語言模型中，神經元可能會識別單個字母，例如o或t 。

2隱藏層

接下來，隱藏層發揮作用。輸入層中活化的神經元會刺激第一個隱藏層中的神經元，該隱藏層會偵測更複雜的特徵，例如on等字母的組合。當訊號穿過額外的隱藏層時，網路會辨識出越來越抽象的特徵。神經元之間連接的權重決定了這些活化的強度。

3抽象特徵檢測

網路在更深的隱藏層中偵測更抽象的特徵。這種功能使深度神經網路能夠處理需要抽象推理的複雜任務，例如撰寫文字或識別圖像中的物件。

4輸出層

最後，網路在輸出層產生預測。該層中的每個神經元代表一個可能的結果。例如，在完成短語“once Upon a ___”時，一個神經元可能代表時間、另一個夢想和第三個床墊。網路估計每種結果的機率並選擇最有可能的一個。一些網絡，尤其是語言模型，透過在大多數時間選擇最可能的答案來引入可變性，從而確保多樣化和自然的輸出。

深度神經網路透過多層處理輸入來學習複雜的模式和特徵，使其成為影像辨識和自然語言處理 (NLP) 等任務的強大工具。

深度學習網路的類型

深度學習包含各種類型的神經網絡，每種神經網路都旨在處理特定任務。了解這些不同的架構對於有效利用其功能至關重要。

前饋神經網路 (FNN)

前饋神經網路或「普通」神經網路沿著一個方向處理資訊：從輸入到輸出。它們非常適合簡單的預測任務，例如檢測信用卡詐欺或預先批准貸款。訓練透過反向傳播進行，根據預測誤差調整模型。

循環神經網路 (RNN)

循環神經網路適合需要動態更新的任務，例如語言翻譯。他們使用時間反向傳播 (BPTT) 來解釋輸入序列，使其能夠有效地理解序列資料中的上下文和關係。

長短期記憶（LSTM）

長短期記憶網絡透過選擇性地忘記不相關資訊同時保留重要細節來改善循環神經網絡，使其適用於需要長期情境保留的任務。長短期記憶網路增強了Google翻譯的能力，但由於其線性處理，在處理大型資料集時可能會很慢。

卷積神經網路 (CNN)

卷積神經網路透過掃描影像以獲取邊緣和形狀等視覺特徵，在影像辨識方面表現出色。它們保留空間訊息，並且可以識別物體，無論它們在圖像中的位置如何，這使得它們成為許多基於圖像的應用的最先進技術。

生成對抗網路（GAN）

生成對抗網路由生成器和鑑別器競爭組成。生成器建立假數據，鑑別器嘗試將其識別為假數據。兩個網路都透過反向傳播進行改進。生成對抗網路非常適合生成真實數據，並且在圖像識別中很有用。

變形金剛和注意事項

Transformer 代表了深度學習的突破，尤其是自然語言處理方面。他們使用注意力機制來權衡不同輸入元素的重要性。與先前的模型不同，變壓器並行處理數據，從而能夠有效處理大型數據集。自註意使 Transformer 能夠考慮輸入中所有元素之間的關係，從而使它們對於文字生成和翻譯等任務非常有效。

深度學習的應用

深度學習模型已應用於許多現實世界的問題，包括那些曾經看似機器無法解決的問題。

自動駕駛汽車

自動駕駛汽車依靠深度學習模型來識別交通號誌和標誌、附近的汽車和行人。這些車輛使用感測器融合，結合來自光達、雷達和攝影機的數據來創建環境的全面視圖。深度學習演算法即時處理這些數據以做出駕駛決策。例如，特斯拉的自動駕駛系統使用神經網路來解釋周圍環境並進行相應的導航，從而提高安全性和效率。

大型語言模型 (LLM) 和聊天機器人

深度學習模型是 ChatGPT 和 Gemini 等類人聊天機器人以及 Copilot 等程式碼編寫工具的核心。大型語言模型經過大量文字資料的訓練，使它們能夠理解並產生高度準確的人類語言。這些模型可以進行連貫的對話、回答問題、撰寫論文，甚至透過基於自然語言描述產生程式碼片段來協助程式設計。例如，OpenAI 的 GPT-4 可以編寫程式碼、起草電子郵件並提供各種主題的詳細解釋。

寫作協助

寫作工具利用深度學習模式來幫助您寫得更好。這些工具分析整個句子和段落，以提供語法、標點符號、風格和清晰度方面的建議。例如，Grammarly 使用先進的自然語言處理技術來理解您的寫作上下文並提供個人化建議。它可以檢測語氣、建議同義詞，甚至幫助建立您的寫作以提高可讀性和參與度。

使用 Grammarly 更聰明地工作

任何有工作要做的人的人工智慧寫作夥伴

影像生成

DALL-E 等深度學習模型最近在基於文字提示生成新穎圖像或執行風格轉換以使用第三張圖像的風格創建現有圖像的新版本方面取得了長足進步。例如，您可以透過輸入自己的照片和繪畫參考來製作文森梵谷的《星夜》 （1889）風格的個人資料照片。這些模型結合使用卷積神經網路和生成對抗網路來生成高度真實且富有創意的圖像。

醫療診斷

一些語言處理模型可以分析患者記錄中的資訊（例如測試結果、調查回應、醫生就診記錄和病史），並找出患者症狀的可能原因。例如，IBM 的 Watson Health 使用自然語言處理從非結構化醫療記錄中提取相關資訊。同樣，影像辨識模型可以讀取放射學報告，幫助放射科醫生檢測異常結果。深度學習模型用於識別 X 光和 MRI 等醫學影像中的模式，有助於早期發現癌症和神經系統疾病等疾病。

深度學習的挑戰與局限性

儘管深度學習模型很強大，但它很靈活並且具有實際成本。以下是使用深度學習的一些挑戰：

資料需求：深度學習模型需要大量資料才能很好地訓練它們。例如，OpenAI 的 GPT-3 模型在五個資料集上進行訓練，其中最小的資料集包含所有維基百科文章。
運算成本：訓練和運行深度學習模型需要高度運算密集、能源和成本密集。
偏差：根據有偏差的資料訓練的模型將繼承該偏差並將其納入其回應中。例如，如果 50% 的現實世界圖像包含貓，則用 90% 的狗圖像和 10% 的貓圖像訓練圖像識別模型將無法很好地準備模型。
可解釋性：構成深度學習模型大部分的「隱藏層」被恰當地命名，因為了解它們正在做什麼來做出預測可能是一項挑戰。在某些情況下，這可能沒問題。在其他情況下，了解預測的內容至關重要。例如，了解模型如何預測患者對新治療的反應結果在科學和醫學上都是必要的。
虛假圖像和錯誤訊息：像 DeepDream 這樣的生成對抗網路可以生成虛假但令人信服的圖像。如果落入壞人之手，這些資訊可能會被用來傳播錯誤訊息。同樣，像 ChatGPT 這樣的聊天機器人可能會「幻覺」出不正確的訊息，因此應始終進行事實檢查。

深度學習的未來

雖然很難知道深度學習的未來會是怎樣，但以下是一些積極發展的領域：

大型語言模型正在不斷改進：像 OpenAI 這樣的組織繼續在過去的成功基礎上發展，您應該會看到他們的模型的反應變得更好、更準確。
多模態學習：一些前沿的深度學習模型經過多模態訓練，可以泛化不同類型的信息；例如，基於文字訓練的模型可以預測有關語音或圖像的資訊。
可解釋性：雖然深度學習模型仍然相對不透明，但我們將來可能會看到更多工具，使人們更容易理解它們如何得出預測。

結論

深度學習是一種強大的工具，有可能解決我們今天面臨的許多問題，無論是在野生動物相機上檢測熊、發現新的疾病治療方法，還是更清晰地書寫。

什麼是深度學習？