自然语言处理：你应该知道的一切

在本文中，我们将探讨自然语言处理 (NLP) 的复杂性、其应用及其对各个行业的影响。我们将深入探讨 NLP 的工作原理、它的历史发展以及它面临的挑战。此外，我们还将研究 Grammarly 等公司如何利用 NLP 来增强书面沟通，并讨论这个快速发展的领域的未来前景。

目录

• 什么是自然语言处理？
• NLP 的工作原理
• 自然语言处理的应用
• 自然语言处理的历史
• 语法 NLP
• NLP 用例
• 好处
• 挑战
• NLP的未来
• 结论

什么是自然语言处理（NLP）？

自然语言处理是人工智能和计算语言学的一个领域，重点研究计算机和人类（自然）语言之间的交互。 NLP 涉及算法和模型的开发，使计算机能够以有意义且有用的方式理解、解释和生成人类语言。

NLP大致可分为两大类：

1. 自然语言理解（NLU）
2. 自然语言生成（NLG）

这些过程通过关注人类交流的细微差别、上下文和可变性，将自然语言和人类语言与计算机或编程语言区分开来。

自然语言理解（NLU）

自然语言理解是人工智能理解文本或语音的方式。 “理解”这个词有点用词不当，因为计算机本质上并不理解任何东西；它只能理解任何东西。相反，它们可以以某种方式处理输入，从而产生对人类有意义的输出。

众所周知，语言很难彻底描述。即使您设法记录任何给定语言的标准版本的所有单词和规则，也存在诸如方言、俚语、讽刺、上下文以及这些东西如何随时间变化等复杂情况。

面对这种复杂性，基于逻辑的编码方法很快就会崩溃。几十年来，计算机科学家为人工智能开发了统计方法来理解文本，以越来越准确地理解人们所说的内容。

自然语言生成（NLG）

最近，计算机创造语言的能力越来越受到关注。事实上，生成式人工智能的文本部分是自然语言生成的一种形式。

今天的NLG本质上是一个非常复杂的猜谜游戏。生成式人工智能模型并不是从本质上理解语法规则，而是通过考虑其响应上下文的概率模型一次输出一个单词的文本。由于当今的大型语言模型 (LLM) 已经接受了大量文本的训练，因此它们的输出通常会呈现出良好的人类语音，即使有时内容不正确。 （稍后会详细介绍。）

自然语言处理是如何工作的？

NLP 涉及分析和理解人类语言的几个步骤。以下是主要阶段的细分：

词法分析

首先，输入被分解为更小的部分，称为标记。标记可以是单个单词、单词的一部分或短语。

例如，“cooked”可能会变成两个标记，“cook”和“ed”，以分别捕获动词的含义和时态，而“hotdog”可能是一个标记，因为这两个词在一起具有不同的含义。

句法分析

此步骤重点关注标记的结构，将它们放入语法框架中。

例如，在句子“帕特为每个人煮了一个热狗”中，模型将“煮”识别为过去时态动词，将“热狗”识别为直接主语，将“每个人”识别为间接主语。

语义分析

语义涉及理解单词的含义。此过程有助于模型识别说话者的意图，尤其是当单词或短语可以有不同解释时。

在示例句子中，由于间接主语表示多人，因此 Pat 不太可能煮一个热狗，因此模型会理解“每人一个热狗”的含义。

命名实体识别 (NER)

名称在语言中具有特殊属性。无论是隐式还是显式训练，人工智能模型都会在许多类别中构建长列表，从快餐连锁店名称到一年中的月份。

NER 从单个或多个标记中识别这些标记，以提高其对上下文的理解。就“帕特”而言，一个值得注意的数据点是其隐含的性别不明确。

NER 的另一个方面是它可以帮助翻译引擎避免过于急切。日期和国家名称应该翻译，但人名和公司名称通常不应该翻译。 （帕特这个名字，不应该按字面意思翻译为张开手掌轻轻拍打。）

务实分析

此阶段考虑是否遵循单词的字面意思，或者是否存在习语、讽刺或其他实际含义等因素。

在例句中，“每个人”字面意思是世界上的每个人。然而，考虑到一个人做饭的背景，帕特极不可能烧烤并分发 80 亿法兰克。相反，人工智能会将这个词解释为“某个集合中的所有人”。

话语整合

此阶段说明意义如何贯穿整个对话或文档。如果下一个句子是“她然后睡了一会儿”，模型就会认为“她”指的是帕特，从而消除了性别歧义，以防它再次出现。

自然语言处理的应用

以下是 NLP 的一些关键应用：

文本处理

每当计算机解释输入文本时，NLP 就会发挥作用。一些具体的应用包括：

• 写作帮助： Grammarly 等工具使用 NLP 为您的写作提供实时反馈，包括拼写检查、语法更正和语气调整。请参阅下一节，详细了解 Grammarly 如何使用 NLP。
• 情感分析： NLP 使计算机能够评估文本背后的情感基调。这对于公司了解客户对产品、展示或服务的感受非常有用，这会影响销售和参与度。
• 搜索引擎：通过分析查询背后的含义，即使结果并不完全包含您输入的内容，它们也可以显示结果。这适用于谷歌等网络搜索以及社交媒体和购物网站等其他类型的搜索。
• 自动完成：通过将您已经输入的内容与其他人（和您）过去输入的内容的大型数据库进行比较，NLP 可以对接下来应该发生的内容提出一个或多个猜测。
• 分类： NLP 的另一个常见用途是对不同的输入进行分类。例如，NLP 可以确定评论中正在讨论公司产品和服务的哪些方面。

文本生成

一旦 NLP 模型理解了所给出的文本，它就可以做出反应。通常，输出也是文本。

• 重写： Grammarly 等工具可以分析文本，以提出清晰度、语气和风格方面的改进建议。 Grammarly 还使用 NLP 来调整目标受众的文本复杂性、发现上下文差距、确定需要改进的领域等等。
• 总结：当今一代人工智能最引人注目的功能之一是将大型文本精简为本质，无论是会议记录还是从训练中了解到的主题。这利用了它在短期记忆中保存大量信息的能力，因此它可以查看更广泛的背景并找到模式。
• 新闻文章：人工智能有时用于获取基本信息并创建整篇文章。例如，给定有关棒球比赛的各种统计数据，它可以编写一个叙述来介绍比赛的过程和各个球员的表现。
• 提示工程：在人工智能的元使用中，NLP 可以生成指示另一个人工智能的提示。例如，如果您有一个付费 ChatGPT 帐户并要求它制作图片，它会使用传递给 DALL-E 图像生成模型的额外信息和指令来增强您的文本。

语音处理

将口语转换为文本会带来口音、背景噪音和语音变化等挑战。 NLP 通过使用上下文和语义信息使转录更加准确，显着改进了这一过程。

• 实时转录：在 Zoom 或 Google Meet 等平台中，NLP 允许实时转录根据正在进行的语音的新上下文来调整过去的文本。它还有助于将语音分割成不同的单词。
• 交互式语音应答 (IVR) 系统：大公司的客户服务运营通常使用的电话系统使用 NLP 来了解您寻求帮助的内容。

语言翻译

NLP 对于语言之间的文本翻译至关重要，为临时用户和专业翻译人员提供服务。以下是一些要点：

• 日常使用： NLP 通过提供准确的翻译帮助人们使用不同的语言浏览、聊天、学习和旅行。
• 专业用途：译者经常使用机器翻译来完成初稿，并利用他们的语言专业知识对其进行完善。专业平台提供翻译记忆库，以保持医学或法律等特定领域的术语一致。
• 提高翻译准确性：提供更多上下文（例如完整句子或段落）可以帮助 NLP 模型产生比短语或单个单词更准确的翻译。

NLP 简史

NLP的历史可以分为三个主要时代：基于规则的方法、统计方法时代和深度学习革命。每个时代都给这个领域带来了革命性的变化。

基于规则的方法（20 世纪 50 年代）

第一批 NLP 程序始于 20 世纪 50 年代，基于硬编码规则。这些程序对于简单的语法来说效果很好，但很快就暴露了为整个语言构建综合规则的挑战。人类语言中语气和语境的复杂性使得这种方法既费力又不够。

统计方法（20世纪80年代）

20 世纪 80 年代，计算机科学家开始开发模型，使用统计方法在大型文本语料库中查找模式。这种方法利用概率而不是规则来评估输入并生成输出，事实证明它更加准确、灵活和实用。三十年来，NLP 的进步很大程度上是由处理能力和训练数据集大小的逐步改进推动的。

深度学习（2010 年代中期至今）

自 2010 年代中期以来，深度学习彻底改变了 NLP。现代深度学习技术使计算机能够以极高的准确性理解、生成和翻译人类语言，在特定任务中通常超越人类的表现。

两大进步推动了这一进步：

1. 大量的训练数据：研究人员利用了互联网生成的大量数据。例如，像 GPT-4 这样的模型是根据相当于超过一百万本书的文本进行训练的。同样，谷歌翻译依赖于大量并行翻译内容的语料库。
2. 先进的神经网络：新方法增强了神经网络，使它们能够整体评估更大的输入。最初，循环神经网络（RNN）和相关技术可以处理句子或短段落。今天的变压器架构利用一种称为注意力的技术，可以处理多个段落甚至整个页面。这种扩展的上下文提高了正确理解含义的可能性，就像人类的理解一样。

Grammarly 如何使用自然语言处理

Grammarly 使用基于规则的系统和机器学习 (ML) 模型的组合来帮助作家。基于规则的方法侧重于更客观的错误，例如拼写和语法。对于诸如语气和风格之类的自由裁量任务，它使用机器学习模型。这两种类型经常一起工作，由一个名为甘道夫（Gandalf）（如“你不能通过”）的系统确定向用户呈现哪些建议。 Grammarly 的分析语言学家 Alice Kaiser-Schatzlein 解释说：“基于规则的评估主要是在正确性领域，而模型往往用于更主观的变化类型。”

用户的反馈（无论是总体反馈还是个人反馈）构成了改进 Grammarly 模型的关键数据源。另一位分析语言学家 Gunnar Lund 解释道：“我们根据人们过去接受或拒绝的内容提出个性化建议。”这些反馈经过去识别化处理，并整体用于完善和开发新功能，确保该工具适应各种写作风格，同时维护隐私。

Grammarly 的优势在于跨不同平台提供即时、高质量的帮助。正如 Lund 指出的那样，产品界面是让 AI 的力量触手可及的重要组成部分：“Grammarly 提供即时帮助……在快速且易于使用的 UI 中提供 NLP。”这种可访问性和响应能力有利于每个用英语写作的人，尤其是非英语母语人士。

下一步是进行个性化，除此之外，用户还可以接受和拒绝建议。正如 Kaiser-Schatzlein 所说，“我们希望我们的产品能够创作出更具情境意识的作品，并能反映作者的个人品味和表达方式……我们正在努力让语言听起来更像您。”

编者注：Grammarly 非常重视您的隐私。它实施加密和安全网络配置等严格措施来保护用户数据。欲了解更多信息，请参阅我们的隐私政策。

行业用例

NLP 使机器能够理解和生成人类语言，正在给各行各业带来革命性的变化。它提高了医疗保健、法律服务、零售、保险和客户服务领域的效率、准确性和用户体验。以下是这些领域的一些关键用例。

卫生保健

转录软件可以极大地提高临床医生在有限的时间内治疗每位患者的效率和功效。他们可以依靠应用程序来转录与患者的自然对话，而不是花费大量时间打字笔记。 NLP 的另一层可以总结对话并构建相关信息，例如症状、诊断和治疗计划。

合法的

NLP工具可以在法律数据库中搜索相关判例法、法规和法律先例，从而节省时间并提高法律研究的准确性。同样，它们可以增强发现过程，在数千份文档中查找人类可能错过的模式和细节。

零售

卖家使用 NLP 进行情绪分析，查看其网站和互联网上的客户评论和反馈，以识别趋势。一些零售商也开始向购物者公开这一分析，总结消费者对许多产品的各种属性的反应。

保险

索赔通常涉及大量文件。 NLP 可以从警方报告、一生的医生记录和许多其他来源中提取相关信息，以帮助机器和/或人类更快、更准确地做出裁决。

客户服务

提供客户支持的成本很高，几十年来，公司已经部署了聊天机器人、语音应答电话树和其他 NLP 工具，以减少员工必须直接处理的输入量。生成式人工智能可以利用法学硕士和公司特定的微调，使它们变得更加有用。如今基于 NLP 的机器人通常可以理解客户问题中的细微差别，给出更具体的答案，甚至可以根据其所代表的品牌定制语气来表达自己。

自然语言处理的好处

NLP 具有广泛的应用，可以显着改善我们的日常生活以及与技术的互动，包括：

• 跨数据搜索：几乎所有搜索引擎，从 Google 到当地图书馆的目录，都使用 NLP 来查找符合您意图的内容。如果没有它，结果将仅限于与您输入的内容完全匹配。
• 辅助功能： NLP 是计算机为视力障碍人士朗读内容或为听力障碍人士转换口语的基础。
• 日常翻译：即时、免费、高品质的翻译服务让世界信息变得更加触手可及。这不仅仅是文本到文本：视觉和音频翻译技术可以让您理解您所看到和听到的内容，即使您不知道如何编写该语言。
• 改善沟通： Grammarly 是 NLP 如何提高写作清晰度的一个很好的例子。通过提供上下文相关的建议，Grammarly 可以帮助作者选择能够更好地传达其预期含义的单词。此外，如果作家遇到写作障碍，Grammarly 的人工智能功能可以通过提供提示或想法来帮助他们开始写作。

自然语言处理的挑战

虽然 NLP 提供了许多好处，但它也提出了一些需要解决的重大挑战，包括：

• 偏见和公平：人工智能模型本质上不知道对错，它们的训练数据通常包含影响其输出的历史（和当前）偏见。
• 隐私和安全：众所周知，聊天机器人和其他人工智能会泄露个人信息。 NLP 使计算机可以非常轻松地处理和编译敏感数据。盗窃甚至无意分发的风险很高。
• 远非完美： NLP 经常出错，尤其是在口语方面。大多数 NLP 系统不会告诉您他们对自己的猜测有多大信心，因此，对于准确性很重要的情况，请务必让消息灵通的人员审查任何翻译、抄本等。
• 长尾语言：大部分 NLP 研究都是在英语上进行的，其余大部分都是在翻译背景下进行的，而不是在语言内部进行分析。改进非英语 NLP 存在一些障碍，尤其是寻找足够的训练数据。
• Deepfakes 和其他滥用：虽然人类从写作开始就伪造文档，但 NLP 的进步使得创建虚假内容并逃避检测变得更加容易。特别是，赝品可以根据个人的背景和写作风格进行高度定制。

自然语言处理的未来

预测人工智能的未来是一项众所周知的艰巨任务，但以下是一些值得关注的方向：

• 个性化：模型将汇总有关您的信息，以更好地了解您的背景、偏好和需求。这一努力的一个棘手方面是尊重隐私法和个人偏好。为了确保您的数据安全，请仅使用致力于负责任的创新和人工智能开发的工具。
• 多语言：除了翻译之外，新技术将帮助人工智能模型以或多或少相同的熟练程度跨多种语言工作。
• 多模态：最新的人工智能创新可以同时接受文本、视频、音频和图像等多种形式的输入。这意味着您可以谈论图像或视频，并且模型将理解您在媒体上下文中所说的内容。
• 更快的边缘处理：这里的“边缘”指的是设备而不是云端。新的芯片和软件将允许手机和计算机处理语言，而无需将数据来回发送到服务器。这种本地处理既更快又更安全。 Grammarly 是这条令人兴奋的新道路的一部分，我们的团队已经在 Google Gemini Nano 上致力于设备级人工智能处理。

结论

总之，NLP 是人工智能和计算语言学中一个重要且先进的领域，它使计算机能够理解和生成人类语言。 NLP 通过解决上下文和可变性等复杂性，改变了文本处理、语音识别、翻译和情感分析中的应用。尽管存在偏见、隐私和准确性等挑战，NLP 的未来有望在个性化、多语言功能和多模式处理方面取得进步，从而进一步扩大其对技术和各个行业的影响。