Андрей Карпатий з OpenAI застерігає від передчасного застосування неконтрольованих агентів: “Тримайте ШІ на повідку”
AI потребує контролю: думки від Andrej Karpathy та інші експерти
Сьогодні штучний інтелект (ШІ) займає центральне місце в дискусіях про технологічні новинки, і його потенційний вплив на майбутнє викликає неабиякі суперечки. У цій ситуації Andrej Karpathy, співзасновник OpenAI та колишній лідер AI в Tesla, закликає задуматися про безпеку та виклики, пов’язані з великими мовними моделями (LLMs), і необхідність їх обережного використання.
На заході Y Combinator Karpathy зазначив, що, незважаючи на те, що ШІ може генерувати тисячі рядків коду за секунди, він не замінює розробника. Його роль переходить у площину контролю якості. “Я все ще залишаюсь вузьким місцем,” наголошує він, акцентуючи на потребі ретельної перевірки, щоб уникнути серйозних помилок. За його словами, це питання правильності коду та непередбачуваності LLMs.
Примари людської інтелекту
Karpathy порівнює LLMs з “примарами людей”, своєрідними копіями людського інтелекту, які можуть вигадувати дані, втрачати контекст та припускатися абсурдних помилок. Він наводить приклад, як AI може припуститися логічних помилок, таких як ствердження, що 0.11 більше ніж 9.9.
Рекомендації: Малими кроками до досконалості
Для того щоб зменшити ризики, Karpathy пропонує обережний підхід до використання AI у кодуванні. “Малі приростні шматочки” і чіткі, конкретні запити можуть допомогти уникнути помилок.
Його турботи поділяють й інші експерти, як-от колишній очільник досліджень OpenAI Bob McGrew, який також акцентує на важливості людського контролю за складними завданнями. Досвідчений інженер-програміст Kent Beck порівнює AI з джинами, які можуть виконувати запити несподіваним чином.
Розвиток AI у великих компаніях
Попри всі попередження, великі технологічні компанії продовжують інтегрувати AI у програмне забезпечення. CEO Alphabet Sundar Pichai нещодавно повідомив, що більше 30% нового коду в компанії створюється ШІ, що демонструє значне зростання. Pichai також наголошує на позитивних змінах на ринку праці завдяки AI.
Однак експерти, такі як Karpathy, виступають за контрольоване використання AI в кодуванні, щоб запобігти ненавмисним наслідкам. Навіть найпросунутіші агенти повинні працювати під людським наглядом для забезпечення ефективності та безпеки.
