Что такое нейронная сеть?

Что такое нейронная сеть?

Нейронная сеть — это тип модели глубокого обучения в более широкой области машинного обучения (ML), которая имитирует человеческий мозг. Он обрабатывает данные через взаимосвязанные узлы или нейроны, расположенные в слоях — входные, скрытые и выходные. Каждый узел выполняет простые вычисления, что способствует способности модели распознавать закономерности и делать прогнозы.

Нейронные сети глубокого обучения особенно эффективны при решении сложных задач, таких как распознавание изображений и речи, которые являются важнейшим компонентом многих приложений искусственного интеллекта. Последние достижения в области архитектуры нейронных сетей и методов обучения существенно расширили возможности систем искусственного интеллекта.

Как устроены нейронные сети

Как следует из названия, модель нейронной сети черпает вдохновение из нейронов, строительных блоков мозга. Взрослые люди имеют около 85 миллиардов нейронов, каждый из которых связан примерно с 1000 другими. Одна клетка мозга общается с другой, посылая химические вещества, называемые нейротрансмиттерами. Если принимающая клетка получает достаточное количество этих химических веществ, она возбуждается и отправляет свои собственные химические вещества в другую клетку.

Фундаментальной единицей того, что иногда называют искусственной нейронной сетью (ИНС), являетсяузел, который вместо ячейки представляет собой математическую функцию. Как и нейроны, они взаимодействуют с другими узлами, если получают достаточно входных данных.

На этом сходство заканчивается. Нейронные сети устроены гораздо проще, чем мозг, с четко определенными слоями: входным, скрытым и выходным. Совокупность этих слоев называетсямоделью.Они учатся илитренируются, неоднократно пытаясь искусственно генерировать результаты, наиболее похожие на желаемые результаты. (Подробнее об этом через минуту.)

Входной и выходной слои говорят сами за себя. Большая часть того, что делают нейронные сети, происходит на скрытых слоях. Когда узел активируется входными данными предыдущего уровня, он выполняет свои вычисления и решает, передавать ли выходные данные узлам следующего уровня. Эти слои названы так потому, что их операции невидимы для конечного пользователя, хотя у инженеров есть методы, позволяющие увидеть, что происходит в так называемых скрытых слоях.

Когда нейронные сети включают в себя несколько скрытых слоев, их называют сетями глубокого обучения. Современные глубокие нейронные сети обычно имеют много слоев, включая специализированные подуровни, выполняющие различные функции. Например, некоторые подуровни расширяют способность сети рассматривать контекстную информацию, выходящую за рамки непосредственно анализируемых входных данных.

Как работают нейронные сети

Подумайте о том, как учатся дети. Они что-то пробуют, терпят неудачу и снова пробуют по-другому. Цикл продолжается снова и снова, пока они не доведут поведение до совершенства. Примерно так же учатся и нейронные сети.

В самом начале обучения нейронные сети делают случайные предположения. Узел входного слоя случайным образом решает, какой из узлов первого скрытого слоя активировать, а затем эти узлы случайным образом активируют узлы следующего слоя и так далее, пока этот случайный процесс не достигнет выходного слоя. (Большие языковые модели, такие как GPT-4, имеют около 100 слоев с десятками или сотнями тысяч узлов на каждом уровне.)

Учитывая всю случайность, модель сравнивает свои результаты (которые, вероятно, ужасны) и выясняет, насколько они ошибочны. Затем он регулирует соединение каждого узла с другими узлами, изменяя, насколько они должны быть более или менее склонны к активации на основе данного входного сигнала. Он делает это неоднократно, пока его выходные данные не будут максимально близки к желаемым ответам.

Итак, как нейронные сети узнают, что им следует делать? Машинное обучение (МО) можно разделить на различные подходы, включая обучение с учителем и без учителя. При обучении с учителем модель обучается на данных, которые включают явные метки или ответы, например изображения в сочетании с описательным текстом. Однако обучение без учителя предполагает предоставление модели немаркированных данных, что позволяет ей самостоятельно выявлять закономерности и взаимосвязи.

Распространенным дополнением к этому обучению является обучение с подкреплением, при котором модель улучшается в ответ на обратную связь. Часто это обеспечивают оценщики-люди (если вы когда-либо нажимали «палец вверх» или «палец вниз» в ответ на предложение компьютера, вы внесли свой вклад в обучение с подкреплением). Тем не менее, существуют способы итеративного независимого обучения моделей.

Правильно и поучительно рассматривать выходные данные нейронной сети как прогноз. Независимо от того, оцениваете ли вы кредитоспособность или создаете песню, модели ИИ работают, угадывая, что наиболее вероятно является правильным. Генеративный ИИ, такой как ChatGPT, делает прогнозирование еще дальше. Он работает последовательно, предполагая, что должно произойти после только что полученного результата. (Позже мы разберемся, почему это может быть проблематично.)

Как нейронные сети генерируют ответы

Как только сеть обучена, как она обрабатывает информацию, которую видит, чтобы предсказать правильный ответ? Когда вы вводите в интерфейс ChatGPT запрос типа «Расскажите мне историю о феях», как ChatGPT решает, как реагировать?

Первый шаг — входной слой нейронной сети разбивает ваше приглашение на небольшие фрагменты информации, известные кактокены. Для сети распознавания изображений токенами могут быть пиксели. Для сети, использующей обработку естественного языка (NLP), например ChatGPT, токен обычно представляет собой слово, часть слова или очень короткую фразу.

Как только сеть зарегистрировала токены на входе, эта информация передается через ранее обученные скрытые уровни. Узлы, которые он передает от одного слоя к следующему, анализируют все большие и большие разделы входных данных. Таким образом, сеть НЛП может в конечном итоге интерпретировать целое предложение или абзац, а не только слово или букву.

Теперь сеть может начать формировать свой ответ, который представляет собой серию дословных предсказаний того, что будет дальше, на основе всего, чему она обучена.

Рассмотрим подсказку: «Расскажи мне историю о феях». Чтобы сгенерировать ответ, нейронная сеть анализирует подсказку, чтобы предсказать наиболее вероятное первое слово. Например, он может определить, что с вероятностью 80 % лучшим выбором будет вариант «The», с вероятностью 10 % — вариант «А» и с вероятностью 10 % — вариант «Один раз». Затем он случайным образом выбирает число: если число находится между 1 и 8, он выбирает «The»; если 9, он выбирает «А»; и если это 10, он выбирает «Один раз». Предположим, случайное число равно 4, что соответствует «The». Затем сеть обновляет подсказку: «Расскажи мне историю о феях». The» и повторяет процесс, чтобы предсказать следующее слово после «The». Этот цикл продолжается с предсказанием каждого нового слова на основе обновленной подсказки, пока не будет создана полная история.

Разные сети сделают этот прогноз по-разному. Например, модель распознавания изображений может попытаться предсказать, какую метку присвоить изображению собаки, и определить, что с вероятностью 70 % правильная метка — «шоколадная лаборатория», 20 % — для «английского спаниеля» и 10 % — для «шоколадной лаборатории». для «золотистого ретривера». В случае классификации, как правило, сеть будет использовать наиболее вероятный выбор, а не вероятностное предположение.

Виды нейронных сетей

Вот обзор различных типов нейронных сетей и того, как они работают.

• Нейронные сети прямого распространения (FNN). В этих моделях информация течет в одном направлении: от входного слоя через скрытые слои и, наконец, к выходному слою.Этот тип модели лучше всего подходит для более простых задач прогнозирования, таких как обнаружение мошенничества с кредитными картами.
• Рекуррентные нейронные сети (RNN). В отличие от FNN, RNN учитывают предыдущие входные данные при создании прогноза.Это делает их хорошо подходящими для задач языковой обработки, поскольку конец предложения, сгенерированного в ответ на подсказку, зависит от того, как оно началось.
• Сети с длинной краткосрочной памятью (LSTM): LSTM выборочно забывают информацию, что позволяет им работать более эффективно.Это крайне важно для обработки больших объемов текста; например, обновление Google Translate до нейронного машинного перевода в 2016 году основывалось на LSTM.
• Сверточные нейронные сети (CNN): CNN лучше всего работают при обработке изображений.Они используютсверточные слоидля сканирования всего изображения и поиска таких элементов, как линии или фигуры. Это позволяет CNN учитывать пространственное местоположение, например определять, расположен ли объект в верхней или нижней половине изображения, а также идентифицировать форму или тип объекта независимо от его местоположения.
• Генеративно-состязательные сети (GAN): GAN часто используются для создания новых изображений на основе описания или существующего изображения.Они структурированы как конкуренция между двумя нейронными сетями: сетью-генератором, которая пытается обмануть сеть-дискриминатор, заставив ее поверить в то, что ложный ввод реален.
• Трансформаторы и сети внимания. Трансформаторы ответственны за нынешний взрыв возможностей искусственного интеллекта.Эти модели включают в себя прожектор внимания, который позволяет им фильтровать входные данные, чтобы сосредоточиться на наиболее важных элементах и ​​на том, как эти элементы связаны друг с другом, даже на разных страницах текста. Трансформеры также могут обучаться на огромных объемах данных, поэтому такие модели, как ChatGPT и Gemini, называютсябольшими языковыми моделями (LLM).

Приложения нейронных сетей

Их слишком много, чтобы перечислять, поэтому вот подборка способов использования нейронных сетей сегодня с упором на естественный язык.

Помощь в написании: Трансформеры изменили то, как компьютеры могут помочь людям лучше писать.Инструменты письма с искусственным интеллектом, такие как Grammarly, позволяют переписывать предложения и абзацы для улучшения тона и ясности. Этот тип модели также улучшил скорость и точность основных грамматических предложений. Узнайте больше о том, как Grammarly использует искусственный интеллект.

Генерация контента. Если вы использовали ChatGPT или DALL-E, вы лично испытали генеративный искусственный интеллект.Трансформеры произвели революцию в способности компьютеров создавать медиа, которые находят отклик у людей: от сказок на ночь до гиперреалистичных архитектурных визуализаций.

Распознавание речи. Компьютеры с каждым днем ​​становятся все лучше в распознавании человеческой речи.Благодаря новым технологиям, которые позволяют им учитывать больше контекста, модели стали более точными в распознавании того, что собирается сказать говорящий, даже если сами по себе звуки могут иметь несколько интерпретаций.

Медицинская диагностика и исследования. Нейронные сети превосходно справляются с обнаружением и классификацией закономерностей, которые все чаще используются, чтобы помочь исследователям и медицинским работникам понимать и лечить болезни.Например, мы должны частично поблагодарить ИИ за быструю разработку вакцины против COVID-19.

Проблемы и ограничения нейронных сетей

Вот краткий обзор некоторых, но не всех проблем, возникающих при использовании нейронных сетей.

Предвзятость: нейронная сеть может учиться только на основе того, что ей говорят.Если в нем присутствует сексистский или расистский контент, его продукция, скорее всего, также будет сексистской или расистской. Это может произойти при переводе с бесгендерного языка на гендерный, где стереотипы сохраняются без явной гендерной идентификации.

Переоснащение: неправильно обученная модель может считывать слишком много данных, которые ей предоставлены, и испытывать трудности с новыми входными данными.Например, программное обеспечение для распознавания лиц, обученное в основном на людях определенной этнической принадлежности, может плохо работать с лицами других рас. Или спам-фильтр может пропустить новый вид нежелательной почты, потому что он слишком сосредоточен на шаблонах, которые он видел раньше.

Галлюцинации. Большая часть современного генеративного ИИ в некоторой степени использует вероятность для выбора того, что производить, вместо того, чтобы всегда выбирать лучший вариант.Такой подход помогает ему быть более творческим и создавать текст, который звучит более естественно, но он также может привести к тому, что он будет делать просто ложные утверждения. (Именно поэтому студенты-магистры иногда ошибаются в элементарной математике.) К сожалению, эти галлюцинации трудно обнаружить, если вы не знаете лучше или не сверяетесь с другими источниками.

Интерпретируемость: часто невозможно точно знать, как нейронная сеть делает прогнозы.Хотя это может разочаровать человека, пытающегося улучшить модель, это также может иметь серьезные последствия, поскольку ИИ все чаще полагается на принятие решений, которые сильно влияют на жизнь людей. Некоторые модели, используемые сегодня, не основаны на нейронных сетях именно потому, что их создатели хотят иметь возможность проверять и понимать каждый этап процесса.

Интеллектуальная собственность. Многие считают, что LLM нарушают авторские права, включая без разрешения письменные и другие произведения искусства.Хотя они, как правило, не воспроизводят произведения, защищенные авторским правом, напрямую, известно, что эти модели создают изображения или фразы, которые, вероятно, заимствованы у конкретных художников, или даже создают произведения в характерном стиле художника, когда это предложено.

Энергопотребление: все эти тренировки и запуск моделей-трансформеров потребляют огромную энергию.Фактически, через несколько лет ИИ сможет потреблять столько же энергии, сколько Швеция или Аргентина. Это подчеркивает растущую важность рассмотрения источников энергии и эффективности при разработке ИИ.

Будущее нейронных сетей

Предсказать будущее ИИ чрезвычайно сложно. В 1970 году один из ведущих исследователей искусственного интеллекта предсказал, что «через три-восемь лет у нас будет машина с общим интеллектом среднего человека». (Мы все еще не очень близки к общему искусственному интеллекту (AGI). По крайней мере, большинство людей так не думает.)

Тем не менее, мы можем указать на несколько тенденций, на которые следует обратить внимание. Более эффективные модели позволят снизить энергопотребление и запустить более мощные нейронные сети непосредственно на таких устройствах, как смартфоны. Новые методы обучения могут позволить получать более полезные прогнозы с меньшим количеством обучающих данных. Прорыв в интерпретируемости может повысить доверие и открыть новые пути для улучшения производительности нейронных сетей. Наконец, объединение квантовых вычислений и нейронных сетей может привести к инновациям, которые мы можем только представить.

Заключение

Нейронные сети, вдохновленные структурой и функциями человеческого мозга, имеют основополагающее значение для современного искусственного интеллекта. Они превосходно справляются с задачами распознавания образов и прогнозирования, лежащими в основе многих современных приложений искусственного интеллекта, от распознавания изображений и речи до обработки естественного языка. Благодаря достижениям в архитектуре и методах обучения нейронные сети продолжают значительно улучшать возможности искусственного интеллекта.

Несмотря на свой потенциал, нейронные сети сталкиваются с такими проблемами, как предвзятость, переобучение и высокое потребление энергии. Решение этих проблем имеет решающее значение, поскольку ИИ продолжает развиваться. Заглядывая в будущее, инновации в эффективности моделей, интерпретируемости и интеграции с квантовыми вычислениями обещают еще больше расширить возможности нейронных сетей, что потенциально приведет к еще более преобразующим приложениям.