监督学习与无监督学习：差异、好处和用例

机器学习 (ML) 为我们日常依赖的许多技术提供支持，例如图像识别和自动驾驶汽车。两种基本方法——监督学习和无监督学习——构成了这些系统的支柱。虽然两者都是训练机器学习模型的关键，但它们在方法、目标和应用方面有所不同。

在本指南中，我们将比较这两种方法，突出它们的差异，并探讨它们的优点和挑战。我们还将探索实际应用，以帮助您了解哪种方案最适合各种任务。

目录

• 什么是监督学习？
• 什么是无监督学习？
• 有监督与无监督：主要区别
• 监督学习和无监督学习的好处
• 监督和无监督学习的挑战
• 监督和非监督学习的应用
• 结论

什么是监督学习？

监督学习使用标记数据训练机器学习系统。在这种情况下，“标记”意味着每个训练示例都与已知输出配对。这些标签通常由专家创建，帮助系统了解输入和输出之间的关系。经过训练后，监督系统可以将这些学到的关系应用到新的、看不见的数据中，以进行预测或分类。

例如，在自动驾驶汽车的背景下，监督学习系统可能会分析标记的视频数据。这些注释可识别街道标志、行人和障碍物，使系统能够识别并响应现实驾驶场景中的类似特征。

监督学习算法分为两大类：

• 分类：这些算法为新数据分配标签，例如将电子邮件识别为垃圾邮件或非垃圾邮件。
• 回归：这些算法预测连续值，例如根据过去的表现预测未来的销售额。

随着数据集的增长和计算资源的改善，监督系统变得更加准确和有效，支持欺诈检测和医疗诊断等应用。

什么是无监督学习？

相比之下，无监督学习在没有标记示例的情况下分析数据，依靠统计算法来发现隐藏的模式或关系。与监督系统不同，这些模型会推断结构并在新信息可用时动态更新其发现。虽然无监督学习在模式发现方面表现出色，但对于预测任务通常效果较差。

一个实际的例子是新闻聚合服务。这些系统对有关突发新闻事件的相关文章和社交媒体帖子进行分组，而无需外部标签。通过实时识别共性，他们进行无监督学习以突出关键故事。

以下是一些专门的无监督学习算法：

• 聚类：用于细分消费者并根据行为变化调整细分。
• 关联：这些检测数据中的模式，例如识别可能表明安全漏洞的异常情况。
• 降维：这些可以简化数据结构，同时保留关键信息，并且通常用于压缩和可视化复杂数据集。

无监督学习是探索性数据分析和在标记数据不可用的情况下揭示见解的不可或缺的一部分。

有监督与无监督：主要区别

监督学习和无监督学习在机器学习中发挥着不同的作用。这些方法在数据要求、人员参与、任务和应用程序方面有所不同。下表突出显示了这些差异，我们将进一步探讨这些差异。

训练阶段的差异

两种算法之间的主要区别在于它们所依赖的数据集的类型。监督学习受益于大量标记数据。因此，最先进的监督系统依赖于大规模、非专业的人力来筛选数据并生成标签。标记数据的处理通常也需要更多的资源，因此受监督的系统无法处理尽可能多的数据。

无监督学习系统可以在较小的数据集上开始发挥作用，并且可以使用相同的资源处理大量的数据。他们的数据更容易获取和处理，因为它不依赖于大规模、非专业的人力。作为权衡，系统通常无法在预测任务上实现如此高的准确度，并且通常依赖于专门的工作才能发挥作用。它们不是在准确性至关重要的地方使用，而是更频繁地用于在数据发生变化时大规模推断和更新数据模式。

部署时的差异

监督学习应用程序通常具有内置机制来大规模获取更多标记数据。例如，电子邮件用户可以轻松标记传入的邮件是否为垃圾邮件。电子邮件提供商可以将标记的消息累积到训练集中，然后训练逻辑回归系统以进行垃圾邮件检测。他们牺牲了更长、更资源密集的培训，以换取部署时更快的决策。除了逻辑回归系统之外，其他常见的监督训练算法包括决策树和神经网络，它们普遍用于预测和决策以及复杂的模式识别。

当应用于涉及大量非结构化数据的问题时，无监督系统会脱颖而出。它们可以检测数据中的模式，即使它们是暂时的，并且必须在监督学习训练完成之前检测到。例如，聚类算法（一种无监督学习系统）可以随着趋势的变化检测和更新消费者群体。如果趋势转向新的、看不见的模式，它们仍然具有相关性，无需停机进行再培训。

无监督学习的一个例子是主成分分析（PCA）在金融领域的应用。 PCA 是一种可大规模应用于投资组的算法，有助于推断和更新投资组的新兴属性。其中包括重要的财务指标，例如最重要的投资风险来源和可能影响回报的因素。其他常见类型的无监督学习系统是自动编码器，它压缩和简化数据，通常作为应用其他机器学习算法之前的准备步骤。

监督学习和无监督学习的好处

监督系统和无监督系统都可用于以超过无人帮助的人类的规模和速度处理数据。然而，它们最适合不同的应用。下面，我们对比它们的一些主要优点。

监督系统

• 当有重要历史数据可用时使用 Excel
• 对于具有已知结构、特征和模式的训练数据，比无监督系统要好得多
• 非常适合大规模检测和应用数据的已知特征
• 可以产生人类可以理解并具有直观意义的结果
• 对新数据和未见过的数据可以有更高的准确性
• 与无监督系统相比，可以更快、更大规模地进行预测

无监督系统

• 特别擅长识别数据中以前未见过或未知的结构和关系
• 当数据结构较少且其属性不太为人所知时表现良好
• 在受监督系统无法正常工作的某些情况下工作（例如，在数据不可用或数据可用但未经人类处理的情况下）
• 与同等数据量的监督系统相比，训练期间需要更少的资源和时间
• 当有太多数据无法用监督系统很好地处理时，可以进行训练和使用

监督和无监督学习的挑战

有监督和无监督系统各自做出不同的权衡，它们面临的挑战有时也截然不同。我们在下面重点介绍一些主要差异。

监督系统

• 需要访问大量人工处理的数据，这些数据有时可用或易于获取
• 通常有更长、资源更密集的培训阶段
• 如果核心数据特征发生变化，可能很难快速适应
• 处理固有的非结构化数据（例如视频或音频）时面临挑战

无监督系统

• 将更频繁地检测不能很好地推广到新数据示例的模式
• 可能很难像监督系统一样准确
• 它们产生的结果是人类难以解释的，并且这些结果的解释可能更加主观。
• 在现实世界中做出的每个预测可能需要更多的时间和资源

监督和非监督学习的应用

有些应用程序和问题最好使用监督学习系统来解决，有些应用程序和问题最好使用无监督系统来解决，有些应用程序和问题最好使用混合系统。这是三个众所周知的例子。

混合学习系统和半监督学习

值得注意的是，大多数现实应用程序混合使用有监督和无监督模型。学习系统通常根据预算、数据可用性、性能要求和工程复杂性等因素进行组合。有时，也可能会使用尝试融合两种方法（半监督学习）优点的专门学习算法子集。在下面的示例中，我们指出了最有可能使用的或主要的系统。

交通预测（监督）

交通预测是一项具有挑战性的任务。幸运的是，由于城市定期审核和记录道路交通量，因此可以获得大量标记数据。回归算法是一种监督学习，很容易应用于这些数据，并且可以对交通流进行相当准确的预测。他们的预测可以帮助为有关道路建设、交通标志和交通信号灯放置的决策提供信息。无监督算法在此阶段效果较差。然而，它们可以根据道路结构变化后积累的交通数据来运行。那时，它们可以帮助自动识别和推断是否可能出现任何新的和以前未见过的问题。

遗传聚类（无监督）

遗传数据的分析可能缓慢且繁琐，因为数据量很大并且大多数数据没有得到很好的分析。我们通常不太了解遗传数据包含什么——基因和其他遗传成分可能存储在基因组中的位置、它们如何解码和解释等。无监督算法与这个问题特别相关，因为它们可以处理大量数据数据并自动推断它包含哪些模式。它们还可以帮助将相似的遗传信息收集到不同的簇中。一旦遗传数据根据相似性进行聚类，就可以轻松地处理和测试这些聚类，以确定它们所具有的生物学功能（如果有）。

法学硕士和强化学习（混合）

大型语言模型 (LLM) 是结合了无监督和监督学习系统的应用程序示例。最初的系统，即法学硕士，通常是无监督系统的一个例子。为了获得法学硕士学位，需要通过无监督系统对大规模数据（例如互联网上可用的所有英语文本）进行分析。该系统从数据中推断出许多模式，并制定了英语交谈的基本规则。

然而，法学硕士所做的推论并不能很好地帮助其在谈话中听起来像一个典型的人。他们也无助于它考虑个人的沟通偏好。监督系统——具体来说，是使用用户带注释的反馈的强化系统（称为人类反馈强化学习，简称 RLHF）——是解决这个问题的一种方法。 RLHF 可以应用于已经接受过培训的法学硕士，以帮助其与人类进行良好的沟通。它还可以了解个人偏好并以特定人喜欢的方式说话。

结论

总之，监督学习和无监督学习是机器学习的两个基本子集，每个子​​集都有独特的优势。监督学习在具有丰富标记数据、充足的前期训练资源以及需要快速、可扩展决策的场景中表现出色。另一方面，无监督学习在发现数据中隐藏的结构和关系时表现出色，尤其是当标记数据或训练资源有限且决策可以容纳更多时间和复杂性时。通过了解这两种方法的优点、挑战和用例，您可以就何时以及如何有效地应用它们做出明智的决定。