Microsoft представила метод виявлення прихованих бекдорів-агентів

Революційний метод виявлення отруєних моделей від Microsoft

Сучасні технології стикаються з новими викликами, і Microsoft зробила важливий крок у боротьбі з потенційними загрозами. Дослідники компанії представили метод сканування для виявлення отруєних моделей, що не вимагає знання тригера чи цільового результату. Це справжній прорив у боротьбі зі зловмисним програмуванням.

Отруєні моделі – реальна загроза

Організації, які інтегрують великі мовні моделі з відкритими вагами, стикаються з вразливістю в ланцюжку постачання. Існують “сплячі агенти”, які залишаються непомітними під час тестувань на безпеку, але можуть виконувати зловмисні дії при появі конкретної “тригерної” фрази. Наприклад, моделі можуть генерувати небажаний контент або небезпечний код.

Як працює сканер від Microsoft

Система детекції базується на спостереженнях за тим, як отруєні моделі обробляють специфічні послідовності даних. Промптинг моделі з її власними шаблонними токенами може викликати витік даних й виявити тригерну фразу. Це стається через те, що “сплячі агенти” добре запам’ятовують приклади, в яких було додано бекдор.

Коли виявляються потенційні тригери, сканер аналізує внутрішню динаміку моделі для перевірки. Виявлено, що присутність тригера спричиняє фокусування моделі на окремому обчислювальному шляху, тим самим відділяючи його від звичайного процесування вхідних даних.

Результати та ефективність

Методика сканування не вимагає навчання нових моделей або зміни ваг цільових моделей, що дозволяє швидке впровадження без зниження їхньої продуктивності. У тестах, проведених на 47 моделях зі сплячими агентами, методика виявила близько 88% з них, не зробивши жодного хибного позитивного сигналу серед 13 дружніх моделей.

Обмеження та рекомендації

Метод має деякі обмеження, такі як фокус на фіксованих тригерах. Існує ризик виникнення динамічних або контекстно-залежних тригерів, які складніше виявити. Важливо відзначити, що цей підхід зосереджується лише на виявленні отруєних моделей, а не на їх усуненні або виправленні. Натомість він дозволяє визначити моделі, які можливо доведеться вивести з використання.

Нововведення від Microsoft стає потужним інструментом для перевірки цілісності моделей мовлення, розгорнутих у відкритих репозиторіях. Цей метод забезпечує масштабованість, одночасно з успішним вирізненням зловмисних агентів без потреби в детальних знаннях про цільову поведінку.