Применение ИИ и машинного обучения в кибербезопасности

Кибербезопасность — одна из самых актуальных тем в нашем современном мире. С каждым днем угрозы для баз данных и систем электронной коммуникации становятся все более сложными и разнообразными. В связи с этим внимание к применению искусственного интеллекта (ИИ) в области информационной безопасности (ИБ) растет. Однако использование новых технологий всегда несет как новые преимущества, так и новые вызовы, к которым необходимо находить свежие решения.

В этой статье мы рассмотрим основные возможности, ограничения и риски использования машинного обучения и искусственного интеллекта в кибербезопасности.

Возможности и ограничения

Можно выделить несколько основных возможностей ИИ и машинного обучения в кибербезопасности:

• Профили безопасности на основе поведения пользователей. С помощью индивидуальных профилей сотрудников можно создать предиктивную модель, которая будет выявлять поведенческое отклонение пользователей.
• Профили безопасности на основе данных о работе системы. Изучив обычную загруженность системы, алгоритм может определить отклонения, как в случае с поведением пользователя.
• Устранение багов и уязвимостей на этапе написания кода.
• Распознавание фальшивых документов, биометрических данных и прочих идентификаторов.
• Формирование методичек базового уровня для работы новых специалистов (с помощью ChatGPT).

Более подробно с возможностями и ограничениями ИИ и машинного обучения в кибербезопасности можно ознакомиться в нашей прошлой статье.

Несмотря на ряд возможностей этих технологий в сфере ИБ, с их использованием связаны следующие проблемы [1]:

1. Так как ИИ представляет из себя нечто вроде «черного ящика», результат его работы остается непредсказуемым для человека и поэтому требует тщательного наблюдения извне;
2. Отсутствие достаточного количества данных для обучения ML-моделей;
3. Возможность атак на алгоритмы машинного обучения;
4. Использование злоумышленниками ИИ для создания вредоносных программ, анализа пользовательского поведения, разработки ботов-сборщиков персональных данных, поиска уязвимостей, подбора паролей, подмены личности, обхода систем защиты и пр.

Риски использования ИИ

Остановимся подробнее на рисках, связанных с использованием интеллектуальных систем. Они в основном определяются атаками на ИИ.

В этом году аналитическое агентство Gartner выпустило исследование об атаках на ИИ, в котором поинтересовалось у разработчиков, случались ли у них нарушения конфиденциальности ИИ или ИБ-инциденты. Согласно исследованию, 41% опрошенных компаний ответили положительно. Из зафиксированных ими инцидентов 60% были компрометацией данных внутренними злоумышленниками, а 27% — атаками на инфраструктуры, которые используются для работы алгоритмов ИИ.

Разберем атаки в зависимости от их цели:

• Шпионаж - получение представления о системе и использование полученной информации для собственной выгоды или подготовки более сложных атак.

К примеру, так злоумышленник может обмануть личного голосового помощника и получить личные данные пользователя, просто сымитировав его голос.

• Саботаж - действия, направленные на введение в неисправность системы ИИ. Его можно произвести несколькими способами:
1. Затопление ИИ запросами, которые требуют больше времени вычислений, чем обычно;
2. Затопление неправильно классифицированными объектами для увеличения ручной работы по ложным срабатываниям, либо с целью уничтожить доверие к системе. В результате таких действий система, к примеру, может рекомендовать фильмы ужасов любителям комедии;
3. Модификация модели путем ее переподготовки;
4. Использование вычислительной мощности модели ИИ для решения задач злоумышленника.
• Мошенничество — обман ИИ через неправильную классификацию. Так можно обмануть систему, чтобы она ошибочно классифицировала, например, кошек и собак. У мошенника есть два способа сделать это – взаимодействуя с системой на этапе обучения или через применение моделей. Первый подход называется «Отравление», а второй «Уклонение».

Рассмотрим их поподробнее:

Отравление данных — атака, при которой ошибка закладывается на этапе обучения и злоумышленник заранее знает как обмануть сеть.

Приведем пример такой атаки на дорожных знаках [2]. При обучении модели ей показывались дорожные знаки «Стоп», отмечая, что они значат «Стоп», знаки «Ограничение скорости» с также правильной меткой, а также знаки «Стоп» с наклеенным на них стикером и меткой «Ограничение скорости». В итоге, если такой системой воспользоваться в качестве автопилота, то увидев знак «Стоп» со стикером, машина продолжит движение.

Отравление данных может произойти в следующих случаях:

1. Порча данных на краудсорсинг-платформах, например, при пометке капчей с определенными объектами;
2. Использование предобученных моделей, т.е моделей, уже обученных на определенном наборе данных, схожих с целевыми;
3. Порча данных при обучении в облаке.

Порой для целостности данных и уменьшения рисков данной атаки производится хеширование исходных данных и хранение их в виде хеш-сумм, однако Microsoft рекомендует считать, что все данные изначально отравлены и требуют обработки для удаления потенциально отравленных данных.

Атаки уклонения — атаки, возникающие на этапе применения нейронных сетей. Целью также является заставить выдавать ИИ неверные ответы в определенных ситуациях.

В этом случае злоумышленник пытается создать оптическую, слуховую или смысловую иллюзию для модели. Поскольку восприятие человека значительно отличается от восприятия нейронных сетей, возникает проблема с различением поддельных данных. То, что может быть легко распознано и определено как поддельное для человека, может быть неразличимым для искусственного интеллекта.

В основном для атак уклонения используются «состязательные примеры». Эти примеры обладают некоторыми свойствами, ставящими под угрозу многие системы:

1. Состязательные примеры зависят от данных, а не от архитектур, и их можно сгенерировать для большинства датасетов. Обман сети производится с помощью наложения шума на изображение. К примеру, здесь описано, как с помощью шума можно заставить модель думать, что лиса — это варан, а варан — лиса. 


2. Состязательные примеры отлично переносятся в физический мир. Можно аккуратно подобрать примеры, которые неверно распознаются, исходя из известных человеку особенностей объектов, а также перенести состязательные примеры из цифрового образа в физический, распечатав его и продолжив обманывать сеть.

Для предотвращения данной атаки известно несколько техник:

1. Использование преобразования данных для изображений (метод главных компонент, пороговое преобразование, вейвлет-преобразование, уменьшение глубины цвета, а также сжатие в JPEG);
2. Обучение модели на наборе с состязательными примерами и правильно размеченными метками.

Заключение

Применение ИИ и машинного обучения в кибербезопасности имеет ряд преимуществ, такие как повышенная точность определения и предотвращения угроз, ускорение процессов обработки данных, прогнозирование вероятных атак и многие другие. Однако, оно также представляет определенные риски, связанные с атаками на системы ИИ. Для минимизации подобных угроз необходимо развивать интенсивные меры по улучшению безопасности систем ИИ, такие как обеспечение шифрования данных, фильтрация и анализ аномальной активности.

Автор: Асатрян Аида, Программист ИИ 1 категории “Астрал.Безопасность”