Регулятори звертають увагу на керування AI агентами через прогалини в контролі

Управління AI: застереження від фінансового регулятора Австралії

Фінансовий регулятор Австралії попередив фінансові установи про неправильне управління практиками керування та затвердженням агентів штучного інтелекту. Це попередження стало актуальним на фоні того, що банки та пенсійні фонди розширюють використання штучного інтелекту як у внутрішніх процесах, так і в операціях, орієнтованих на клієнтів.

Австралійський пруденційний регулятивний орган провів цільову перевірку великих регульованих суб’єктів наприкінці 2025 року, щоб оцінити процеси застосування AI та пов’язані з ними пруденційні ризики. Було виявлено, що штучний інтелект використовується у всіх перевірених компаніях, але рівень зрілості у керуванні ризиками та операційній стійкості значно варіюється. Хоча ради директорів виявляли значний інтерес до застосування технології для підвищення продуктивності та покращення обслуговування клієнтів, більшість з них все ще працювала над управлінням ризиками AI.

Регулятор також висловив занепокоєння щодо залежності від презентацій та резюме постачальників. Ради директорів часто не приділяють достатньої уваги таким ризикам, як непередбачувана поведінка моделей та наслідки збою AI для критично важливих операцій.

APRA підкреслила, що ради директорів повинні краще розуміти технологію для формування відповідної стратегії та нагляду. Стратегія AI має бути узгоджена з апетитом до ризику установи, включати моніторинг та визначені процедури для дій у разі помилок.

В регульованих суб’єктах тестували чи впроваджували AI у програмній інженерії, тріажі заявок та обробці заявок на кредити. Також було зазначено про такі сценарії використання, як боротьба з шахрайством та взаємодія з клієнтами.

Деякі суб’єкти розглядають ризики AI так само як і інших технологій, але цей підхід не враховує поведінку та упередженість моделей.

Було виявлено прогалини у моніторингу поведінки моделей, управлінні змінами та виведення з експлуатації. Вказано на потребу в інвентаризації інструментів AI та призначенні відповідальних осіб за конкретні випадки використання AI. Було наголошено на необхідності людського втручання у високоризиковані рішення.

Кібербезпека була ще однією сферою занепокоєння. APRA відзначила, що впровадження AI змінило середовище загроз, додаючи додаткові шляхи атаки, такі як впровадження підказок та небезпечні інтеграції.

Практики управління ідентифікацією та доступом в окремих випадках не були адаптовані до елементів, що не відносяться до людей, таких як агентів AI. Обсяг програмної розробки за допомогою AI створював додаткове навантаження на контроль змін та випусків.

APRA вказала, що установи повинні застосовувати контроль над агентними та автономними процесами, що включає управління привілейованим доступом, конфігурацію та патчинг. Вона також закликала проводити тестування безпеки коду, згенерованого AI.

Деякі інституції стали залежними від одного постачальника для багатьох своїх випадків застосування AI, зазначила APRA, і лише декілька змогли продемонструвати план виходу або стратегію заміщення постачальників AI.

APRA акцентувала, що AI може бути присутнім у залежностях вузлів, про які установи можуть і не знати.