Сьогодні мова йде не лише про етичні дилеми або питання заміщення людської праці, ефективності оптимізації бізнес-процесів. Все більш актуальною стає проблема цілеспрямованої маніпуляції даними.

Річ у тому, що ШІ-системи ґрунтуються на аналізі величезних масивів інформації. І саме через це дані, якими «навчають» моделі, можуть бути отруєними. Тобто, їх можуть навмисно насичити неправдивими або маніпулятивними фактами, які споживачі будуть сприймати за правдиву інформацію.

Не так давно Агентство національної безпеки США (NSA) спільно із розвідувальними службами Великої Британії, Австралії та Нової Зеландії оприлюднило відкритий звіт, присвячений кіберзагрозам у сфері штучного інтелекту. У цьому документі докладно розкрито, як саме можуть бути зламані або навмисно виведені з ладу системи ШІ. Серед ключових ризиків експерти виокремлюють «отруєння даних» (data poisoning) — цілеспрямоване внесення спотвореної інформації в алгоритми навчання. Розберемося детальніше, що це таке і як відбувається на практиці.

Як відбувається отруєння даних?

Отруєння даних штучного інтелекту відбувається, коли зловмисник маніпулює результатами роботи ШІ або моделі машинного навчання, змінюючи її навчальні дані. Зазвичай, метою зловмисника в атаці є заміна даних на упереджені або взагалі небезпечні результати роботи моделі.

Секрет в тому, що моделі ШІ мають два основні компоненти: навчальні дані та алгоритми. Уявіть собі алгоритм — як двигун автомобіля, а навчальні дані — як бензин, який дає двигуну щось для спалювання. Так само дані змушують модель ШІ працювати та генерувати дані. Атака з отруєнням даних схожа на те, якби хтось додав до палива додатковий інгредієнт, який би змусив авто зламатися.

Потенційні наслідки отруєння даних із кожним днем стають все більш серйозними, оскільки все більше компаній та загалом людей починають покладатися на відповіді ШІ у своїй повсякденній діяльності. І наразі це вже не гіпотетичний сценарій: хакери та кіберзлочинці активно використовують ці інструменти, щоб поширювати фейки або впливати на поведінку систем штучного інтелекту.

Наприклад, російські пропагандисти вже використовують технології ШІ для розповсюдження неправдивої інформації. Так, якщо у сервісу, в який інтегровано ШІ, запитати про щось зовсім актуальне, наприклад, останні новини, то він проаналізує не дані, які йому «згодували» раніше на етапі навчання, а релевантні запиту сторінки сайтів із пошукової видачі. Саме цим й користуються, росіяни. Як? За одним із прикладів: вони створюють цілі мережі сайтів з недостовірною інформацією й просувають їх, надаючи ваги, щоб сервіси ґрунтували відповіді саме на інформації з цих ресурсів. Це, на жаль, вже непогано працює.

Які можуть бути типи впливу на дані?

Розглянемо 3 типи атак:

• Підсовування неправдивих даних. Під час цього типу атак зловмисники маніпулюють набором даних, додаючи фіктивну інформацію, що призводить до надання неточних результатів навчання та прогнозів. Наприклад, маніпулювання системою рекомендацій для включення помилкових оцінок клієнтів може змінити те, як оцінюють якість продукту.
• Зміна існуючих даних. При цьому типі атак зловмисники змінюють справжні дані, умисно вносячи помилки та вводячи систему в оману. Прикладом може бути зміна значень у базі даних фінансових транзакцій з метою компрометації систем виявлення шахрайства чи створення неправильних розрахунків накопиченого прибутку чи збитків.
• Видалення даних. Під час цього типу атаки створюються прогалини, які впливають на продуктивність моделі в крайніх випадках — тих самих сценаріях, на виявлення яких і розраховано багато систем, критично важливих для безпеки. Наприклад, система кібербезпеки може стати несприйнятливою до певних мережевих атак, якщо дані про атаки зникнуть.

Проаналізуємо трохи детальніше: зловмисники можуть використовувати спеціально підготовлені дата-сети, на яких будуть навчати модель. Саме в них будуть знаходитися хибні дані. Оскільки модель сама не може «зрозуміти», що є правдою (там може взагалі не бути правди), відповіді будуть підготовлені на основі хибних даних. Як ці дата-сети «підсунути» потрібній аудиторії — це вже інша справа. Та і як виявити в цих терабайтах фейки — теж велике питання. Також кіберзлочинці можуть впливати на сам алгоритм формулювання відповіді, де будуть проігноровані правильні твердження.

Ще один з підходів, який можуть практикувати кіберзлочинці чи навіть пересічні користувачі — вплив на сервісі через запитання. Наприклад, якщо у користувача (або мережі акаунтів) в сервісі з ШІ налаштовано «навчати модель на даних користувача», то потенційно таким чином теж можна впливати на моделі деяких сервісів.

Деталей, наскільки глибоко та яким саме чином технічно це враховується чи не враховується — наразі мало. Але рано чи пізно користувацький запит може перетворитися у ствердження, яке надасть вже сам сервіс. І це може стати проблемою. Бо з одного боку таким сервісам потрібні користувацькі дані для навчання (недарма «галочка» про навчання стоїть за замовчуванням), а з іншого — це можливість для data poisoning.

Тут доречно згадати історію із схожим «отруєнням» майже 10 років тому. У 2016 році компанія Microsoft запустила чатбота Tay, який мав навчатись від користувачів у Twitter. Але користувачі впродовж кількох годин «навчили» його використовувати у відповідях расистські та сексистські елементи й стати «прибічником» конспірології.

Висновки

Добре, коли люди розуміють принцип роботи сервісів з ШІ й менше наражають себе на небезпеку. Проте є люди, для яких все це — «магія». Як правило, у них рівень довіри до видачі такої інформації високий. Дійсно, відповіді ШІ практично завжди виглядають переконливо. Розуміючи, як люди взаємодіють із сервісами, зловмисники (якщо узагальнити це поняття) можуть спробувати вплинути на результати відповідей. Причин це робити — купа.

Із розвитком технологій зростає й рівень складності кіберзагроз. Сучасні атаки стають дедалі більш непомітними, але водночас — надзвичайно небезпечними. Для жертв таких вторгнень наслідки можуть бути руйнівними: від втрати персональних даних до серйозних репутаційних чи фінансових втрат.

Деякі форми «отруєння даних» можуть мати виключно злочинні цілі. Усе частіше зловмисники вдаються до маніпуляцій зі штучним інтелектом, щоб впроваджувати шкідливі алгоритми або викрадати конфіденційну інформацію.

З огляду на те, що цифрові технології дедалі глибше інтегруються в усі сфери нашого життя, від медицини до фінансів, питання захисту ШІ-систем від кібератак стає критично важливим. Адже будь-яка вразливість може бути використана хакерами для серйозного втручання в роботу систем, які ми щодня сприймаємо як надійні.

Що ж із цим всім робити звичайним користувачам? Зрозуміло, що вже навряд чи хтось відмовиться від використання розумних сервісів, бо це зручно й ефективно. Але я б не став покладатися на те, що розробники будуть докладати зусиль в першу чергу до боротьби з дезинформацією. Отже, не довіряйте усьому, що «каже» той чи інший сервіс у своїх відповідях. Обов’язково намагайтеся перевіряти. Особливо в питаннях, які впливають на ваші рішення. Наразі тільки так можна зменшити ризики стати жертвою «отруєних» даних.