Сегодня речь идет не только об этических дилеммах или вопросах замещения человеческого труда, эффективности оптимизации бизнес-процессов. Все более актуальной становится проблема целенаправленной манипуляции данными.

Дело в том, что ИИ-системы основываются на анализе огромных массивов информации. И именно поэтому данные, которыми «обучают» модели, могут быть отравленными. То есть, их могут намеренно насытить ложными или манипулятивными фактами, которые потребители будут принимать за правдивую информацию.

Не так давно Агентство национальной безопасности США (NSA) совместно с разведывательными службами Великобритании, Австралии и Новой Зеландии обнародовало открытый отчет, посвященный киберугрозам в сфере искусственного интеллекта. В этом документе подробно раскрыто, как именно могут быть взломаны или намеренно выведены из строя системы ИИ. Среди ключевых рисков эксперты выделяют «отравление данных» (data poisoning) — целенаправленное внесение искаженной информации в алгоритмы обучения. Разберемся подробнее, что это такое и как происходит на практике.

Как происходит отравление данных?

Отравление данных искусственного интеллекта происходит, когда злоумышленник манипулирует результатами работы ИИ или модели машинного обучения, изменяя ее обучающие данные. Обычно, целью злоумышленника в атаке является замена данных на предвзятые или вообще опасные результаты работы модели.

Секрет в том, что модели ИИ имеют два основных компонента: учебные данные и алгоритмы. Представьте себе алгоритм — как двигатель автомобиля, а учебные данные — как бензин, который дает двигателю что-то для сжигания. Точно так же данные заставляют модель ИИ работать и генерировать данные. Атака с отравлением данных похожа на то, если бы кто-то добавил в топливо дополнительный ингредиент, который бы заставил авто сломаться.

Потенциальные последствия отравления данных с каждым днем становятся все более серьезными, поскольку все больше компаний и вообще людей начинают полагаться на ответы ИИ в своей повседневной деятельности. И сейчас это уже не гипотетический сценарий: хакеры и киберпреступники активно используют эти инструменты, чтобы распространять фейки или влиять на поведение систем искусственного интеллекта.

Например, российские пропагандисты уже используют технологии ИИ для распространения ложной информации. Так, если у сервиса, в который интегрирован ИИ, спросить о чем-то совсем не актуальном, например, последние новости, то он проанализирует не данные, которые ему «скормили» ранее на этапе обучения, а релевантные запросу страницы сайтов из поисковой выдачи. Именно этим и пользуются, россияне. Как? По одному из примеров: они создают целые сети сайтов с недостоверной информацией и продвигают их, придавая веса, чтобы сервисы основывали ответы именно на информации с этих ресурсов. Это, к сожалению, уже неплохо работает.

Какие могут быть типы воздействия на данные?

Рассмотрим 3 типа атак:

• Подсовывание ложных данных. Во время этого типа атак злоумышленники манипулируют набором данных, добавляя фиктивную информацию, что приводит к предоставлению неточных результатов обучения и прогнозов. Например, манипулирование системой рекомендаций для включения ложных оценок клиентов может изменить то, как оценивают качество продукта.
• Изменение существующих данных. При этом типе атак злоумышленники изменяют настоящие данные, умышленно внося ошибки и вводя систему в заблуждение. Примером может быть изменение значений в базе данных финансовых транзакций с целью компрометации систем обнаружения мошенничества или создания неправильных расчетов накопленной прибыли или убытков.
• Удаление данных. Во время этого типа атаки создаются пробелы, которые влияют на производительность модели в крайних случаях — тех самых сценариях, на выявление которых и рассчитаны многие системы, критически важные для безопасности. Например, система кибербезопасности может стать невосприимчивой к определенным сетевым атакам, если данные об атаках исчезнут.

Проанализируем немного детальнее: злоумышленники могут использовать специально подготовленные дата-сети, на которых будут обучать модель. Именно в них будут находиться ложные данные. Поскольку модель сама не может «понять», что является правдой (там может вообще не быть правды), ответы будут подготовлены на основе ложных данных. Как эти дата-сети «подсунуть» нужной аудитории — это уже другое дело. Да и как обнаружить в этих терабайтах фейки — тоже большой вопрос. Также киберпреступники могут влиять на сам алгоритм формулировки ответа, где будут проигнорированы правильные утверждения.

Еще один из подходов, который могут практиковать киберпреступники или даже рядовые пользователи — влияние на сервисе через вопрос. Например, если у пользователя (или сети аккаунтов) в сервисе с ИИ настроено «обучать модель на данных пользователя», то потенциально таким образом тоже можно влиять на модели некоторых сервисов.

Деталей, насколько глубоко и каким именно образом технически это учитывается или не учитывается — пока мало. Но рано или поздно пользовательский запрос может превратиться в утверждение, которое предоставит уже сам сервис. И это может стать проблемой. Потому что с одной стороны таким сервисам нужны пользовательские данные для обучения (недаром «галочка» об обучении стоит по умолчанию), а с другой — это возможность для data poisoning.

Здесь уместно вспомнить историю с похожим «отравлением» почти 10 лет назад. В 2016 году компания Microsoft запустила чатбот Tay, который должен был учиться от пользователей в Twitter. Но пользователи в течение нескольких часов «научили» его использовать в ответах расистские и сексистские элементы и стать «сторонником» конспирологии.

Выводы

Хорошо, когда люди понимают принцип работы сервисов с ИИ и меньше подвергают себя опасности. Однако есть люди, для которых все это — «магия». Как правило, у них уровень доверия к выдаче такой информации высокий. Действительно, ответы ИИ практически всегда выглядят убедительно. Понимая, как люди взаимодействуют с сервисами, злоумышленники (если обобщить это понятие) могут попытаться повлиять на результаты ответов. Причин это делать — куча.

С развитием технологий растет и уровень сложности киберугроз. Современные атаки становятся все более незаметными, но в то же время — чрезвычайно опасными. Для жертв таких вторжений последствия могут быть разрушительными: от потери персональных данных до серьезных репутационных или финансовых потерь.

Некоторые формы «отравления данных» могут иметь исключительно преступные цели. Все чаще злоумышленники прибегают к манипуляциям с искусственным интеллектом, чтобы внедрять вредоносные алгоритмы или похищать конфиденциальную информацию.

Учитывая, что цифровые технологии все глубже интегрируются во все сферы нашей жизни, от медицины до финансов, вопрос защиты ИИ-систем от кибератак становится критически важным. Ведь любая уязвимость может быть использована хакерами для серьезного вмешательства в работу систем, которые мы ежедневно воспринимаем как надежные.

Что же с этим всем делать обычным пользователям? Понятно, что уже вряд ли кто-то откажется от использования умных сервисов, потому что это удобно и эффективно. Но я бы не стал полагаться на то, что разработчики будут прилагать усилия в первую очередь к борьбе с дезинформацией. Итак, не доверяйте всему, что «говорит» тот или иной сервис в своих ответах. Обязательно старайтесь проверять. Особенно в вопросах, которые влияют на ваши решения. Сейчас только так можно уменьшить риски стать жертвой «отравленных» данных.