1. Google застерігає, що шкідливі веб-сторінки можуть отруїти AI-агентів 2. Попередження Google про загрозу шкідливих веб-сторінок для AI-агентів
Загроза безпеці від непрямих ін’єкцій у системи штучного інтелекту від Google Researchers
Дослідники компанії Google виступили з попередженням про зловмисні публічні веб-сторінки, які активно атакують корпоративні агенти штучного інтелекту (ШІ) через непрямі ін’єкції. Ця проблема виникає через приховані інструкції, вбудовані в HTML зловмисниками, які залишаються непоміченими до того моменту, коли асистент ШІ не почне витягувати інформацію з веб-сторінки. Як тільки ці приховані команди обробляються, системи ШІ можуть випадково виконати небажані дії.
Непрямі ін’єкції діють шляхом приховування команд у надійному джерелі даних, виходячи за рамки традиційних засобів безпеки, які запобігають прямим маніпуляціям, таким як поширене “ігнорування попередніх інструкцій” у чатботах. Наприклад, агент ШІ компанії, переглядаючи портфоліо кандидата, може зіткнутися з цими прихованими інструкціями та виконати небажані дії, такі як несанкціоноване вилучення внутрішніх даних, вважаючи їх за високопріоритетні завдання через брак здатності до розрізнення.
Типові заходи кібербезпеки, такі як міжмережеві екрани та системи виявлення шкідливих програм, не вловлюють ці тонкощі, оскільки агенти ШІ працюють з легітимними обліковими даними та дозволами. Як запобіжний захід, пропонується впровадження подвійної моделі перевірки, де обмежена “санітарна” модель перевіряє дані перед їх передачею основному ШІ. Це гарантує, що основна модель ШІ залишається здатною, але обмеженою у виконанні шкідливих дій, запропонованих неперевіреними даними.
Крім того, важливим кроком до зменшення цих ризиків є впровадження принципів нульової довіри та ретельне відстеження походження рішень через аудиторські сліди. Без цих запобіжних заходів системи ШІ піддаються виконанню наміру небажаних і навіть шкідливих завдань під виглядом звичайних операцій. У статті підкреслюється необхідність удосконалення стратегій управління та посилювання контролю за введенням агентів ШІ для захисту корпоративних систем у конкурентному цифровому середовищі.
