Moonshot AI представляє Kimi K3: найбільшу революцію серед моделей open-weight
Moonshot AI нещодавно запустила свій інноваційний Kimi K3 open-weight model, який станом на сьогодні є наймасштабнішою моделлю з 2,8 трильйонами параметрів. Дата запуску цієї технологічної революції — 16 липня. Нова модель робить якісний стрибок у клас 3T, позаду залишаючи минулого гіганта DeepSeek’s V4 Pro з його 1,6 трильйонами параметрів. Що відрізняє K3 від інших, так це зміщення акценту на пам’ять замість потужності обчислень, що забезпечує обхід американських обмежень на потужності. Це надзвичайно важливо, адже обчислення та пам’ять є нерівноцінними обмеженнями для китайських лабораторій.
Потужність обробки Kimi K3 значною мірою залежить від стратегії mixture-of-experts, за якою модель поділена на 896 спеціалізованих фрагментів, з яких використовується усього 16 одночасно. Такий підхід значно скорочує попит на обчислювальні ресурси, залишаючи всі 2,8 трильйони параметрів в пам’яті для негайного доступу. Щоб зменшити вимоги до пам’яті, Moonshot використовує quantisation-aware training, в якому точність параметрів тренується на чотирьох бітах замість стандартних шістнадцяти. Це означає значні заощадження пам’яті, завдяки чому квантована модель займає близько 1,4 ТБ, що суттєво менше за повну точність в 5,6 ТБ.
Хоча технічні рішення K3 вражають, доступність та зручність використання залишаються викликами. Опубліковані вага моделі стануть доступні 27 липня, що дозволить підприємствам з фінансовими та технічними можливостями її використовувати. Однак складність інструкцій для налаштування натякає, що модель найкраще підходить для центрів обробки даних, оскільки для її оптимальної роботи як цілісної одиниці потрібно не менш ніж 64 акселератори. Це нагадує системи типу Huawei’s CloudMatrix.
Не обійшлось без перешкод на шляху реалізації: сучасне стандартне програмне забезпечення має обмеження на підтримку K3 через архітектурні зміни. Крім того, цінова політика модель K3 робить її менш доступною, з тарифами $3 за мільйон вхідних токенів і $15 за мільйон вихідних токенів. Незважаючи на конкурентоспроможність при певному bench-марку, продуктивні обмеження, такі як тривалий час роздумування та потреба в калібруванні, можуть впливати на експлуатаційні витрати.
Загалом, Kimi K3 демонструє значні досягнення у розвитку великих моделей, зосереджуючись на розумному розподілі ресурсів в умовах існуючих обмежень. Однак, наскільки сильно ця модель вплине на практичне впровадження у підприємствах та додатках, з огляду на її значні вимоги до ресурсів і підтримки програмного забезпечення, залишається невизначеним.
