转移学习：更智能，更快的AI开发的快捷方式

重复使用和适应预先训练的AI模型正在改变处理机器学习（ML）任务的方式。转移学习是一种有效且具有成本效益的方法，可以使大型和复杂的AI系统适应新的领域和问题。在本指南中，我们将探讨转移学习的关键方面：它的工作原理，其各种类型和应用以及其优势和挑战。

目录

• 什么是转移学习？
• 转移学习如何工作？
• 转移学习与微调
• 转移学习类型
• 转移学习的好处
• 转移学习的挑战
• 转移学习的应用

什么是转移学习？

转移学习是一种强大的机器学习技术，它利用预先培训的模型来完成不同但相关的任务。它使用在现有模型中捕获的一般知识作为基础，以学习如何在更具体的相关域中解决问题。

转移学习提供了几种优势：它加速了定制人工智能（AI）应用程序的开发和部署，降低资源成本，并且通常比从头开始建立模型更好的性能。结果，转移学习对于旨在开发专业的AI解决方案的组织特别有价值，而没有大量数据或计算能力通常需要从头开始训练模型。

转移学习的示例

考虑想要创建AI系统来检测产品缺陷的制造商的示例。一种选择是聘请专业的ML从业人员，收集和策划数百万相关的产品图像，并搁置从头开始训练模型所需的时间和计算资源。转移学习提出了一个更好的选择：制造商可以从已经在大型标准化图像数据集（例如ImageNet）上完成昂贵且耗时的培训的型号开始。然后，制造商可以快速有效地使用转移学习来调整模型以检测特定产品图像中的缺陷。

转移学习如何工作？

转移学习将预先训练的模型的通用知识调整为新的，相关的任务。该过程通常涉及三个关键步骤：

• 选择适当的预训练模型
• 更新模型的体系结构
• 培训模型的新数据

1。选择一个预训练的模型

第一步是选择一个已经在与目标任务相关的域中的数据集上训练的模型。预先训练的模型应该学到了与新应用程序相关的一般和高级功能。

• 医疗保健中的示例：医疗保健组织可能是从NIH（美国国立卫生研究院）ChestX-Ray14数据集进行的模型开始的，该模型包含大量标记的医学图像。该模型将学习一般特征，例如如何结构X射线图像以及生物学特性如何与图像组件相关。该模型可以作为为位于胸部区域的特定状况开发诊断工具的基础，并在X射线图像（如肺炎或肺癌）上可见。
• 财务示例：财务企业可能会使用Finbert，这是经财务文件，收入电话和监管申请的模型。该模型将学习一般特征，例如财务语言结构以及指示市场情绪和业务绩效的特定术语。 Finbert模型可以成为更专业功能的基础，例如在收益报告中自动标记有关陈述的自动标记。

选择正确的预训练模型涉及确保其原始培训与预期应用良好，因为这增加了成功适应的可能性。

2。修改模型体系结构

一旦选择了合适的预训练模型，就可以对其架构进行调整以适合新任务。此步骤通常包括：

• 替换输出层：为原始任务设计的预训练模型的最终层被删除并用新的特定任务特定层（例如，用于分类的完全连接的层）。
• 保留一般特征：经常保留内部图层，它们的内层捕获了可概括的模式，例如图像中的边缘或文本中的语言关系中的边缘。这些功能可以有效地转移到相关任务。

体系结构修改的程度取决于特定用例以及源和目标任务之间的相似程度。

3。培训模型的新数据

在最后一步中，修改模型在针对新任务的数据集上进行了培训。可以通过两种主要方式来实现此步骤，具体取决于数据集大小和任务之间的相似性：

• 功能提取：
  • 只有新添加的图层经过训练，而原始层保持不变。
  • 当新任务与原始任务密切相关或目标数据集很小时，此方法是理想的选择。
• 微调：
  • 整个模型进行了重新培训，但具有较小的数据集和学习率，以避免失去训练阶段中学到的宝贵特征。
  • 这种方法更适合大型数据集或新任务与原始任务显着不同时。

无论采用哪种方法，目标都是将模型暴露于足够的相关数据，使其能够有效地学习和推广。

转移学习与微调

转移学习通常与微调混淆。尽管这些概念密切相关，但存在显着差异。最重要的是，转移学习是针对新目的调整预训练模型的总体过程，并且可能涉及或不涉及微调。另一方面，微调是用于重新训练某些模型参数的几种技术之一，作为整体传输学习过程的一部分。微调不仅是转移学习的一部分；它在转移学习之外的ML中具有其他上下文中的应用程序，例如改善数据的特定亚组模型性能或将模型调整以转移数据分布。

此外，转移学习通常需要对模型的体系结构进行实际更改，例如去除和替换现有层或重组层之间的连接。相比之下，微调通常涉及小，精确的参数调整，而无需对体系结构进行重大更改。

将转移学习视为装修设计用于一个目的的建筑物，以便将其用于另一个目的，例如将车库转换为公寓。这可能涉及结构更新，例如安装窗口，绝缘材料，甚至添加新房间和实用程序连接。另一方面，微调更像是将车库用作额外的工作区，而无需对结构进行重大更改。例如，可能会更换灯，并可能添加新的货架，但是车库的整体结构和建筑保持不变。

转移学习类型

转移学习可以采用几种形式，每种形式都适合特定情况。适当的类型取决于因素，例如目标域中标记的数据的可用性，源和目标任务之间的相似性以及特定的业务需求。转移学习的主要类型是感应转移学习，转移性转移学习和无监督的转移学习。此外，诸如少数学习和零射击学习之类的现代方法通常会利用转移学习技术。

归纳转移学习

归纳转移学习是最常见的转移学习类型，当目标和源任务密切相关并且非常不同时使用。

示例：医疗保健组织可能会使用转移学习来调整经过训练的模型，以对一般MRI图像进行分类以检测特定的大脑状况。

在这种情况下，源模型的一般视觉识别能力可以很好地传输到目标任务，但是需要在目标域中标记的数据。转移学习对于可用新标签的任务特别有效，但是任务本身与源的（通常是更专业的版本）不同。

跨传输学习

在跨传输学习中，源和目标任务是相同的，但是问题域是不同的。

示例：可以在英语电子邮件中培训的垃圾邮件过滤器可以适应法语电子邮件分类。在这种情况下，即使词汇和语言模式有所不同，源模型的文本模式识别和对电子邮件结构的理解也可以很好地传输到目标任务。任务（电子邮件分类）保持不变，但是数据（语言）有所不同。当源域具有丰富的标记数据并且目标域几乎没有或没有时，此方法很有用。

无监督的转移学习

当目标域内无法使用标记的数据时，使用无监督的转移学习。通常，这种类型的转移学习用于训练模型，以执行无监督的任务，例如聚类或降低维度。

示例： IT组织可能会使用无监督的转移学习来帮助AI驱动的威胁检测系统确定新的威胁类型，而无需标记示例。

在这种情况下，该模型可以将其对正常模式与潜在威胁的一般理解转移到新的，以前未知的威胁类型上。

几乎没有学习

几乎没有射击学习（FSL）是一种ML技术，它使用转移学习来帮助模型从非常有限的数据中学习。在FSL中，模型仅使用几个示例学习执行新任务或分类。

示例：面部识别模型只能基于一两个照片来识别一个新个人。

零击学习

零射击学习（ZSL）是一种ML技术，可帮助模型学习在培训中看不到的新课程。 ZSL通常使用转移学习概念，但依靠语义关系和辅助信息将学习知识推广到新类别。

示例：一个模型可能会学会根据其对其他类型的鱼类的理解及其对罗非鱼是一种鱼类的理解，尽管在训练中从未见过罗非鱼，但他的知识也可以学会识别罗非鱼。

转移学习的好处

转移学习为寻求开发量身定制的AI解决方案的组织提供了一些优势。这些包括减少开发和资源需求，良好的数据性能以及改进的模型鲁棒性。

减少的开发和资源需求

转移学习是同时缩短开发周期并减少AI应用程序资源要求的好方法。从头开始建立模型涉及收集，清洁和标记数据，这是在培训开始之前。通过转移学习，发展和部署成为几周甚至几个月的问题。从头开始训练模型通常需要大量的计算时间和功能，而转移学习则不需要。这意味着组织可以将其AI解决方案更快地带到市场上，并以较少的开销。

数据有限的良好性能

传输学习可以使模型的性能良好，即使培训数据集有限。对于像制造业或医疗保健等专业领域的组织非常有用，在这些组织中，标有标签的数据很难找到或购买昂贵。例如，医疗保健组织可能只有几百个标记的特定医疗状况示例，但无论如何都可以使用转移学习来构建性能检测系统。

改善模型的鲁棒性和可靠性

虽然看起来不直觉，但通过转移学习训练的模型通常比从头开始训练的模型在有限的数据上训练。这是因为用于预训练的大规模数据集提供了可推广到更具体的域和任务的各种模式和功能。此外，从已经进行测试的模型开始，可以降低模型故障的风险并提高可靠性。在医疗保健和金融等受监管行业中，这种降低风险降低至关重要。

转移学习的挑战

尽管有很多好处，但转移学习也有一些挑战和局限性。组织必须了解这些挑战，以便他们可以设计正确的实施策略并具有现实的期望。这些挑战包括负转移，域不匹配和模型选择。

负转移

在负面转移中，来自源域的知识阻碍了学习目标任务，并导致预先训练的模型的性能要比从头开始训练的一个训练差。这是转移学习最常见的挑战之一，通常是在目标和源域太差异时发生的。例如，如果适应医学图像分析，则经过训练以对图像进行分类的计算机视觉模型可能会表现不佳，因为学习的功能与新任务无关。在试图对医疗扫描进行分类时，有助于区分狗品种的功能，例如毛皮质地，尾部长度和耳朵形状，没有有意义的应用。组织应仔细比较来源和目标域，以避免负面转移。

域不匹配

当可用于源和目标域的数据之间的差异降低模型性能时，域不匹配发生。这些差异可以包括数据质量或分布的变化。与负转移不同，遭受域不匹配的模型可能仍然比从头开始训练的一个训练的模型表现更好。例如，在大型猫图像数据集上训练的模型在识别狗方面表现不佳。但是，通常，该模型仍然比在一组狗图像上训练的模型通常会做得更好。

模型选择和修改

选择适当的预训练模型并弄清楚如何修改它可能是复杂且耗时的。组织需要考虑各种因素，包括来源和目标域之间的一致性，可用的基础架构和人事资源，培训数据集的规模和质量以及模型体系结构。此外，经过预训练的模型通常是考虑到可能并不明显的假设和依赖性的。选择适当的模型并进行正确的修改需要专业知识，实验时间以及并非所有组织都可以访问的基础架构。

转移学习的应用

转移学习是为特定任务或域创建AI系统的一种更容易，更可靠的方法，而不是建立新模型。随后，该技术发现了广泛的采用，并且具有许多应用，包括计算机视觉，自然语言处理（NLP）以及语音识别和发电。

计算机视觉

转移学习在计算机视觉方面非常成功。组织可以使用预先训练的视觉模型相对轻松地创建自定义视觉应用程序，这些模型从数百万张图像中学习了可推广的功能。例如，安全公司可以调整预先训练的计算机视觉模型，以检测监视供稿中的可疑行为或确定感兴趣的特定对象，所有这些都没有大量的培训数据或专门的模型开发。

自然语言处理（NLP）

转移学习的主要应用是培训模型来处理特定的NLP任务。例如，法律公司可以选择预先培训的NLP模型作为文档分析工具的基础，然后教导该模型使用转移学习来处理特定的法律领域。

言语识别和一代

转移学习还用于培训用于专业语音应用的模型。例如，呼叫中心可以调整广泛的语音模型，以了解特定于行业的术语并创建更量身定制的自动化客户服务系统。另一个例子是使用转移学习来量身定制经过一般语言任务的语音命令模型，以处理特定的方言和语言。