NVIDIA та Google зменшують витрати на AI інференцію.

Google та NVIDIA об’єднують зусилля для удосконалення AI інфраструктури

Під час конференції Google Cloud Next компанії Google та NVIDIA представили свою спільну дорожню карту щодо зменшення витрат на використання штучного інтелекту в масштабних операціях. Ця співпраця багатообіцяюча, адже завдяки новим апаратним рішенням, як-от A5X bare-metal instances, можна знизити витрати на інференцію до десяти разів, а також збільшити продуктивність на одиницю енергії в десять разів.

Нові системи NVIDIA Vera Rubin NVL72 допоможуть поєднати тисячі процесорів за рахунок високої пропускної здатності. Такі технології, як NVIDIA ConnectX-9 SuperNICs та Google Virgo, дозволяють забезпечити безперебійну обробку даних навіть при використанні до 960,000 GPU у мультісайтових процесорах.

Провідні моделі й безпека даних

У Google розуміють, що управління даними є напруженим питанням для підприємств, особливо в регульованих галузях, як-от фінанси чи охорона здоров’я. З цією метою випущено моделі Google Gemini на NVIDIA Blackwell GPUs, що дозволяють зберігати моделі повністю у контрольованих середовищах. Використання NVIDIA Confidential Computing допомагає захищати дані на рівні апаратного забезпечення.

Це рішення підходить навіть для багатокористувацьких публічних хмарних середовищ із підтримкою Confidential G4 VMs. Така безпека надзвичайно важлива, коли йдеться про дотримання стандартів конфіденційності даних.

Автоматизація тренування моделей та інтеграція у виробництво

Google Cloud та NVIDIA мають рішення для зменшення ускладнень при тренуванні моделей на великому масштабі, а також автоматизації виробничих процесів. Managed Training Clusters на платформі Gemini Enterprise Agent спрощують управління кластерами та мінімізують ризики збоїв апаратного забезпечення.

NVIDIA NeMo RL та можливості автоматичного відновлення і виконання завдань дозволяють командам зосереджуватися більше на якості моделей, ніж на тонкощах управління інфраструктурою.

Широка спільнота розробників та інноваційні рішення

Спільнота розробників Google Cloud та NVIDIA зросла до понад 90,000 учасників. Невеликі та великі компанії, такі як CodeRabbit, Factory, Aible та інші, використовують ці платформи для створення інноваційних рішень у сфері штучного інтелекту, що засновані на технологіях NVIDIA. Це дозволяє їм швидко переходити від експериментальних до продукційних систем, знижуючи витрати та підвищуючи ефективність.

Завдяки цій співпраці між Google Cloud та NVIDIA, світ рухається до нової епохи, в якій AI-рішення стають доступними у найрізноманітніших галузях промисловості та технологій. Очікуємо, що ці нововведення відкриють нові горизонти для розробників, забезпечуючи потужний фундамент для розвитку виробничих систем нового покоління.