Улучшение моделей НЛП для обеспечения устойчивости к состязательным атакам: методы и приложения

Введение

В сфере обработки естественного языка или НЛП произошел вдохновляющий прорыв благодаря внедрению современных методов глубокого обучения. Эти алгоритмы улучшили внутреннюю гибкость моделей НЛП в геометрической прогрессии за пределами человеческих возможностей.

Они преуспели в таких задачах, как классификация текста, вывод на естественном языке, анализ настроений и машинный перевод. Используя большие объемы данных, эти системы глубокого обучения коренным образом меняют то, как мы обрабатываем и понимаем язык. Они способствуют достижению высоких результатов в бесчисленных задачах НЛП.

Несмотря на достижения, достигнутые в секторе обработки естественного языка (NLP), все еще остаются открытые проблемы, включая риск состязательных атак. Обычно такие атаки включают внесение в данные небольших искажений, которые едва заметны, но достаточно эффективны, чтобы обмануть модель НЛП и исказить ее результаты.

Наличие состязательных атак при обработке естественного языка может представлять собой проблему, в отличие от непрерывных данных, таких как изображения. В первую очередь это связано с дискретным характером текстовых данных, что усложняет эффективное создание состязательных примеров.

Для защиты от нападений было создано множество механизмов. В этой статье представлен обзор состязательных механизмов, которые можно разделить на три широкие категории: состязательные методы, основанные на обучении, методы, основанные на управлении возмущениями, и методы, основанные на сертификации.

Предварительные условия

Знакомство с базовыми концепциями НЛП (токенизация, встраивание, преобразователи), состязательными атаками (например, возмущения, перефразирование) и метриками оценки моделей НЛП. Полезно некоторое понимание фреймворков глубокого обучения, таких как PyTorch или TensorFlow.

Обзор состязательных атак в НЛП

Понимание различных типов атак необходимо для создания надежной защиты и укрепления уверенности в надежности моделей НЛП.

Типы атак

На диаграмме ниже описаны различные типы атак.

Виды атак в НЛП

Состязательные атаки в области обработки естественного языка (NLP) могут повлиять на различную степень детализации текста, начиная от отдельных символов и заканчивая целыми предложениями. Они также могут использовать несколько уровней одновременно для более сложных атак.

Атаки «черного ящика» и «белого ящика»

Классификацию состязательных атак на модели НЛП можно в целом охарактеризовать как два типа (атаки черного ящика и атаки белого ящика). Они зависят от уровня доступа злоумышленника к параметрам модели. Крайне важно понимать эти категории, чтобы создать защитные механизмы.

Атаки белого ящика

Атака методом «белого ящика» предполагает, что злоумышленник имеет неограниченный контроль над всеми параметрами, связанными с конкретной моделью. К таким факторам относятся, помимо прочего, архитектура, градиенты и веса, что дает обширные знания о внутренних операциях. Благодаря глубокому пониманию указанных механизмов злоумышленники могут эффективно и точно выполнять целевые состязательные меры.

Злоумышленники часто используют градиентные методы для обнаружения наиболее эффективных возмущений. Вычисляя градиенты функции потерь по отношению к входным данным, злоумышленники могут определить, какие изменения входных данных окажут существенное влияние на выходные данные модели.

Благодаря широкому знакомству с моделью атаки «белого ящика» имеют тенденцию достигать больших успехов в ее обмане.

Атаки черного ящика

В парадигме атак типа «черный ящик» доступ злоумышленников к параметрам и архитектуре конкретной модели остается ограниченным. Однако их общение с моделью ограничивается входными данными, на которые модель реагирует выходными данными.

Сама природа такого злоумышленника ограничена, что делает атаки «черного ящика» более сложными. Наблюдаемые запросы — единственное средство, с помощью которого они вынуждены выводить поведение, присущее модели.

Часто злоумышленники участвуют в процессе обучения суррогатной модели, которая имитирует закономерности работы предполагаемой цели. Эта суррогатная модель впоследствии используется для формулирования случаев состязательного характера.

Проблемы создания состязательных примеров НЛП

Генерация эффективных состязательных примеров в обработке естественного языка (НЛП) — это многогранная задача, которая сопряжена с определенными проблемами. Эти проблемы возникают из-за сложности лингвистики, поведения модели НЛП и ограничений, связанных с методологиями атак:

• Семантическая целостность: обеспечение семантического сходства состязательных примеров с исходным текстом.
• Лингвистическое разнообразие: сохранение естественности и разнообразия в тексте во избежание обнаружения.
• Надежность модели: преодоление защиты передовых моделей НЛП.
• Метрики оценки: отсутствие эффективных показателей для измерения успеха состязательности.
• Перенос атак: обеспечение возможности переноса атак между различными моделями.
• Вычислительные ресурсы: высокие вычислительные требования для создания качественных состязательных примеров.
• Человеческая интуиция и креативность: использование человеческого творчества для создания реалистичных состязательных примеров.

Эти проблемы подчеркивают необходимость продолжения исследований и разработок для продвижения области состязательных атак при обработке естественного языка. Они также подчеркивают важность повышения устойчивости систем НЛП к таким атакам.

Методы защиты, основанные на состязательных тренировках

Основная цель защиты, основанной на состязательной подготовке, — повысить устойчивость модели. Это достигается путем подвергания его состязательным примерам на этапе обучения. Кроме того, это предполагает интеграцию состязательного поражения в общую цель обучения.

Подходы, основанные на дополнении данных

Подходы, основанные на дополнении данных, предполагают создание состязательных примеров и включение их в набор обучающих данных. Эта стратегия способствует развитию способности модели управлять искаженными входными данными, что позволяет ей устойчиво противостоять атакам злоумышленников.

Например, некоторые методы могут включать в себя введение шума в встраивание слов или реализацию замены синонимов в качестве средства создания состязательных примеров. Существуют разные подходы к проведению состязательного обучения на основе увеличения данных. К ним относятся дополнение данных на уровне слов, увеличение данных на основе конкатенации и увеличение данных на основе генерации.

Увеличение данных на уровне слов

На уровне слов увеличение текстовых данных может быть выполнено путем применения некоторых возмущений непосредственно к словам входного текста. Этого можно достичь путем замены, добавления, пропуска или изменения положения слов в предложении или документе. Благодаря этим возмущениям модель обучается обнаруживать и устранять возникающие враждебные изменения.

Например, фразу «Фильм был фантастическим» можно преобразовать в «Фильм был великолепным». «Использование этих расширенных наборов данных для обучения позволяет модели лучше обобщать и снижает ее уязвимость к входным возмущениям.

Увеличение данных на основе конкатенации и генерации

При подходе, основанном на конкатенации, к исходному тексту добавляются новые предложения или фразы. Этот метод может добавлять состязательные примеры путем объединения другой информации, которая может изменить прогнозы модели. Например, в сценарии классификации изображений состязательный пример может быть создан путем добавления вводящего в заблуждение предложения к входному тексту.

Увеличение данных на основе генерации генерирует новые состязательные примеры с использованием генеративных моделей. Используя генеративно-состязательные сети (GAN), можно создавать состязательные тексты, которые являются синтаксически и семантически правильными. Эти сгенерированные примеры затем включаются в обучающий набор для увеличения разнообразия состязательных сценариев.

Методы регуляризации

Методы регуляризации добавляют к цели обучения состязательные потери. Это побуждает модель выдавать одинаковые выходные данные для чистых и состязательных искаженных входных данных. Минимизируя разницу в прогнозах на чистых и состязательных примерах, эти методы делают модель более устойчивой к небольшим возмущениям.

В машинном переводе можно использовать регуляризацию, чтобы гарантировать, что перевод будет одинаковым, даже если входные данные слегка искажены. Например, перевод «Она идет на рынок» должен дать тот же результат, если входные данные изменены на «Она идет на рынок». Такая согласованность делает модель более устойчивой и надежной в реальных приложениях.

Подходы на основе GAN

GAN используют возможности генеративно-состязательных сетей для повышения надежности. В этих методах сеть-генератор создает состязательные примеры, а сеть-дискриминатор пытается различать реальные и состязательные входные данные. Такое состязательное обучение помогает модели научиться справляться с широким спектром возможных возмущений. GAN обещают улучшить производительность при обработке чистых и состязательных входных данных. В задаче классификации текста GAN можно использовать для создания состязательных примеров, бросающих вызов классификатору. Например, создание предложений, которые семантически схожи, но синтаксически различны, например, замена «Хорошая погода» на «Хорошая погода», может помочь классификатору научиться распознавать и классифицировать эти варианты.

Виртуальное состязательное обучение и управление человеком в цикле

Специализированные методы состязательного обучения включают виртуальное состязательное обучение (VAT) и управление человеком в цикле (HITL). НДС работает, генерируя возмущения, которые максимизируют прогнозируемые изменения модели в небольшой близости от каждого входа. Это улучшает локальную гладкость и надежность модели.

Напротив, методы HITL включают участие человека во время состязательного обучения. Требуя участия людей для создания или проверки сложных примеров, эти подходы создают более реалистичные и сложные входные данные. Это повышает устойчивость модели к атакам.

Все эти методы защиты выглядят очень эффективно. Они также представляют набор подходов для повышения устойчивости моделей НЛП к состязательным атакам. Во время обучения модели эти подходы обеспечивают обучение моделей на различных типах состязательных примеров, что делает системы НЛП более надежными.

Методы защиты, основанные на контроле возмущений

В НЛП методы защиты, основанные на контроле возмущений, направлены на обнаружение и смягчение негативных воздействий, вызванных состязательными возмущениями. Эти стратегии можно разделить на два метода: идентификация и коррекция возмущений и управление направлением возмущений.

Основной целью методов идентификации и исправления возмущений является обнаружение и устранение враждебных искажений во входном тексте. Обычно они используют несколько методов для обнаружения подозрительных или враждебных входных данных. Например, для обнаружения слов или фраз, не имеющих распространения, модель может использовать языковые модели или полагаться на статистические методы для обнаружения необычных закономерностей в тексте. После обнаружения эти возмущения можно исправить или устранить, чтобы вернуть тексту его исходное значение, как и предполагалось.

С другой стороны, методы управления направлением возмущений склонны контролировать направление возможных возмущений, чтобы уменьшить их влияние на результат модели. Такие методы обычно применяются путем изменения либо структуры модели, либо самого процесса обучения, чтобы повысить устойчивость модели к определенным типам возмущений.

Повышение надежности чат-ботов обслуживания клиентов с использованием методов защиты, основанных на управлении возмущениями

Организации внедряют чат-ботов для обслуживания клиентов, чтобы управлять запросами клиентов и предлагать помощь. Тем не менее, эти чат-боты могут быть подвержены состязательным атакам. Небольшие изменения во входном тексте могут привести к неточным или ненадежным ответам. Чтобы повысить устойчивость таких чат-ботов, можно использовать защитные механизмы, основанные на контроле возмущений.

Повышение надежности чат-бота с помощью методов защиты от возмущений

Процесс начинается с получения запроса от клиента. Первый шаг — выявить и исправить любые отклонения во входном тексте, которые могут быть враждебными. Это достигается с помощью языковых моделей и статистических методов, которые распознают необычные закономерности или слова, вышедшие из-под контроля, указывающие на такие атаки. После обнаружения их можно исправить посредством очистки текста (например, исправления орфографических ошибок) или контекстной замены (т. е. замены неуместных слов более релевантными).

На втором этапе основное внимание уделяется управлению направлением возмущений. Это включает в себя повышение устойчивости чат-бота к атакам противника. Этого можно добиться, скорректировав процесс обучения и изменив структуру его модели. Чтобы сделать его менее уязвимым к небольшим изменениям во входном тексте, в систему включены надежные встраивания и методы нормализации слоев. Механизм обучения настраивается за счет интеграции состязательного обучения и градиентной маскировки. Этот процесс включает в себя обучение модели на исходных и состязательных входных данных, гарантируя ее способность умело управлять возмущениями.

Сертификационные методы защиты в НЛП

Методы защиты на основе сертификации предлагают формальный уровень гарантии устойчивости к состязательным атакам в моделях НЛП. Эти методы гарантируют, что характеристики модели остаются согласованными в заданной окрестности входного пространства, и могут рассматриваться как более строгое решение проблемы устойчивости модели.

В отличие от состязательного обучения или методов управления возмущениями, методы, основанные на сертификации, позволяют математически доказать, что конкретная модель устойчива к определенным типам состязательных возмущений.

В контексте НЛП методы сертификации обычно влекут за собой определение набора допустимых отклонений (например, замену слов, символов и т. д.) исходных входных данных, а затем обеспечение согласованности выходных данных модели для всех входных данных в этом определенном наборе. .

Существуют различные методы вычисления доказуемых верхних границ изменений выходных данных модели при входных возмущениях.

Методы линейной релаксации

Методы линейной релаксации включают аппроксимацию нелинейных операций, существующих в нейронной сети, линейными границами. Эти методы преобразуют точные нелинейные ограничения в линейные.

Решая эти линеаризованные версии, мы можем получить верхнюю и нижнюю границы изменений выходных данных. Методы линейной релаксации обеспечивают баланс между эффективностью вычислений и строгостью границ, предлагая практический способ проверки устойчивости сложных моделей.

Понимание интервального распространения

Распространение с ограничением интервала — это способ сделать модели нейронных сетей менее чувствительными к возмущениям и вычислить интервал выходных данных сети. Этот метод помогает гарантировать, что выходные данные модели остаются ограниченными, даже если входные данные могут быть незначительно изменены.

Процесс можно определить следующим образом:

• Входные интервалы. Первый шаг в этом процессе включает определение диапазонов входных данных модели. Интервал — это набор значений, которые могут быть приняты на входе. Например, если входные данные представляют собой одно число, интервал может быть [3. 5, 4. 5]. Это означает, что ввод находится в диапазоне двух чисел: 3,5 и 4,5.
• Распространение по слоям: входные интервалы затем преобразуются посредством операций слоя по мере их прохождения через слои нейронной сети. Выходные данные каждого слоя также являются интервалом. Если входной интервал равен [3. 5, 4. 5] и слой выполнил умножение на 2 на каждом из входов, текущий интервал будет [7. 0, 9. 0].
• Интервальное представление: выходные данные представляют собой интервал, содержащий все значения, которые выходные данные слоя могут принимать с учетом входного интервала. Это означает, что если во входном интервале есть какие-либо возмущения, выходной интервал все равно будет охватывать все возможные диапазоны.
• *Систематическое отслеживание: интервалы систематически отслеживаются на каждом уровне сети. Это предполагает обновление интервалов на каждом этапе, чтобы точно отразить возможные выходные значения на следующем этапе после преобразования. Пример: если второй слой добавляет 1 к выходным данным, интервал [7.0, 9.0] становится [8.0, 10.0].
• Гарантированный диапазон: к моменту распространения входных интервалов по всем уровням сети окончательный выходной интервал обеспечивает гарантированный диапазон значений. Этот диапазон указывает все возможные выходные данные, которые модель может выдать для любого входного сигнала в пределах начального интервала.

Вышеописанный процесс можно визуализировать на схеме ниже.

Процесс распространения, ограниченный интервалами, в нейронных сетях

На приведенной выше диаграмме показаны шаги, предпринятые для обеспечения того, чтобы выходные данные нейронной сети были ограничены, несмотря на изменения входных данных. Все начинается с указания первых входных интервалов. При прохождении через уровни сети входные данные подвергаются большему количеству модификаций, таких как умножение и сложение, которые изменяют интервалы.

Например, умножение на 2 сдвигает интервал на [7. 0,9. 0], а добавление 1 изменяет интервал на [8. 0,10. 0]. В каждом слое выходные данные, представленные в виде интервала, охватывают все возможные значения, заданные в диапазоне входных данных. Благодаря такому систематическому отслеживанию в сети можно гарантировать интервал вывода. Это делает модель устойчивой к малым воздействиям.

Рандомизированное сглаживание

С другой стороны, рандомизированное сглаживание – это еще один метод, который предполагает добавление случайного шума к входным данным. Он также включает статистические методы, гарантирующие устойчивость к известным и потенциальным атакам. На диаграмме ниже описан процесс рандомизированного сглаживания.

Рандомизированный процесс сглаживания для защиты от состязания в НЛП

При рандомизированном сглаживании к встраиваниям слов определенного входного текста добавляется случайный шум, чтобы получить несколько искаженных версий текста. После этого мы интегрируем каждую зашумленную версию в модель и получаем выходные данные для каждой из них.

Затем эти прогнозы объединяются, обычно путем большинства голосов или усреднения вероятности, для получения окончательного согласованного прогноза. Этот подход гарантирует, что выходные данные модели остаются стабильными и точными, даже когда входной текст подвергается небольшим состязательным возмущениям. Тем самым повышается устойчивость модели к состязательным атакам.

Пример практического использования: надежность в автоматизированной проверке юридических документов

Юридическая технологическая компания решает создать для юристов систему НЛП, которая позволит им автоматически просматривать и обобщать юридические документы. Надлежащее функционирование этой системы должно быть гарантировано, поскольку любая ошибка может привести к юридическим и финансовым санкциям.

Реализация варианта использования

• Проблема. Система должна быть устойчива к состязательным входным данным, включая предложения или фразы, которые призваны обмануть модель и заставить ее дать ошибочные интерпретации или резюме.
• Решение: использование механизмов защиты на основе сертификации для обеспечения надежности и безопасности модели.

Интервальное распространение

Интервальное распространение включено в модель НЛП компании, занимающейся юридическими технологиями. При анализе юридического документа модель выполняет математические вычисления для расчета интервалов для каждой части текста. Даже если некоторые слова или фразы были слегка искажены (например, из-за опечатки или небольшого изменения смысла), рассчитанный интервал все равно попадет в достоверный диапазон.

Пример. Если исходная фраза — «нарушение контракта», небольшое изменение может изменить ее на «нарушение контракта». Границы интервалов позволят гарантировать, что модель знает, что эта фраза по-прежнему связана с «нарушением контракта». »

Линейная релаксация

Компания аппроксимирует нелинейные компоненты модели НЛП, используя технику линейной релаксации. Например, сложные взаимодействия между юридическими терминами упрощаются до линейных сегментов, надежность которых легче проверить.

Пример. Такие термины, как «возмещение ущерба» и «ответственность», могут сложным образом взаимодействовать в документе. Линейная релаксация аппроксимирует эти взаимодействия в более простые линейные сегменты. Это помогает гарантировать, что небольшие вариации или опечатки в этих терминах, такие как использование «возмещения» вместо «возмещения» или «ответственности» вместо «ответственности», не введут модель в заблуждение.

Реализация рандомизированного сглаживания

• Применение. Компания использует рандомизированное сглаживание, добавляя случайный шум во входные юридические документы во время предварительной обработки данных. Например, вносятся небольшие изменения в формулировки или формулировки, чтобы сгладить границы принятия решений в модели.
• Статистический анализ. Статистический анализ выполняется на основе выходных данных модели, чтобы подтвердить, что, несмотря на включение шума, фундаментальные юридические интерпретации/резюме не затрагиваются.

Пример. Во время предварительной обработки такие фразы, как «согласие», могут быть случайным образом заменены на «договор» или «понимание». «Рандомизированное сглаживание гарантирует, что эти различия не повлияют на фундаментальную юридическую интерпретацию.

Этот подход облегчает смягчение непредсказуемых или существенных изменений выходных данных модели, возникающих в результате небольших изменений входных данных (например, из-за шума или незначительных состязательных изменений). В результате повышается надежность модели.

В контекстах, где надежность имеет первостепенное значение, например, в беспилотных автомобилях или системах клинической диагностики, интервальное распространение предлагает систематический подход, гарантирующий, что результаты, полученные с помощью модели, безопасны и надежны в диапазоне входных условий.

Заключение

Подходы глубокого обучения были включены в НЛП и показали отличную производительность при решении различных задач. С увеличением сложности этих моделей они становятся уязвимыми для состязательных атак, которые могут ими манипулировать. Устранение этих уязвимостей имеет решающее значение для повышения стабильности и надежности систем НЛП.

В этой статье представлены несколько подходов к защите от состязательных атак, таких как подход, основанный на состязательном обучении, подход, основанный на управлении возмущениями, и подход, основанный на сертификации. Все эти подходы помогают повысить устойчивость моделей НЛП к состязательным возмущениям.

Ссылка

• Исследование состязательной защиты и устойчивости в НЛП