Нове дослідження Microsoft: непередбачувані витрати розробників при оновленні AI-моделей
Microsoft виявила, що розробники, які оновлюють свої AI-моделі, зіштовхуються з непередбачуваними витратами на токени та зростанням витрат. Під час свого дослідження Microsoft порівняла дві основні версії моделей компанії Anthropic – Claude Sonnet 4.6 і Claude Sonnet 5, використовуючи GitHub Copilot Chat в середовищі Visual Studio Code на Windows.
Тестування охоплювало 150 спеціальних завдань агента через 15 технічних сценаріїв, де інженери виконували п’ять запусків для кожної моделі в кожному сценарії. Кожен запуск оцінювали за бінарними критеріями, організованими у Select gate та різних вимірах якості, які оцінював мовний модельний суддя для досягнення узгодженості. Витрати обчислювали безпосередньо з реальних даних про токени, оцінених за ставками GitHub Copilot.
У сценаріях було виділено дві різні категорії робочих навантажень для розробників, таких як проектування архітектури Azure та складні оновлення проектів SharePoint Framework. Розцінки були вигіднішими для новішої моделі з 33-відсотковим зниженням вартості токена, але споживання токенів у Sonnet 5 значно зросло.
Незважаючи на деяке зниження витрат, збільшене споживання токенів залишалося достатньо помірним, щоб забезпечити 12-відсоткове зниження вартості в певних умовах. Однак, архітектура Sonnet 5 виявилась неспроможною передбачати витрати, оскільки споживання токенів сильно варіювалося між запусками.
У ідіоматичному генерації коду Sonnet 5 створював результати нижчої якості, не зберігаючи якість базового варіанту. Хоча обидві моделі мали 75-відсоткову успішність на виконаних завданнях, Sonnet 5 отримав лише 78 відсотків на ідіоматичних перевірках в порівнянні з 90 відсотками у Sonnet 4.6.
У той час як архітектурні проекти виявили зниження якості результатів для Sonnet 5, складні оновлення кодової бази змінили цю тенденцію. В оновленнях SharePoint Framework, Sonnet 5 перевершив з 100-відсотковим рівнем успішності у Select gate у порівнянні з 60 відсотками у Sonnet 4.6.
Sonnet 5 показав поліпшену відповідність інструкціям під час цих оновлень, але за вищою вартістю виконання. Один з екстремальних викидів спожив 69 мільйонів токенів під час оновлення коду. Однак, правильність конфігурації залишалася на нулю відсотків у обох версіях моделей при міграції структурних інструментаріїв, що стосуються gulp, Heft чи ESLint. Через відсутність змін конфігурації, генеративні агенти залишалися неефективними.
