Створення фізичного AI: як Nvidia відкриває новий горизонт для медичних роботів
Чи знали ви, що навчання медичних роботів може відбуватися не тільки через програмний код, а й через фізичний досвід? Nvidia започаткувала нову еру в медицині з їхньою платформою Medical Physics Simulation, яка перетворює роботів на так звані фізичні AI-системи. Ці системи вчаться через реальні фізичні взаємодії, а не лише через текст чи зображення.
Фізичний AI: новий спектр навчання для медичних роботів
Термін “фізичний AI” описує машини, які навчаються поводженню у світі за допомогою контакту, сили та наслідків. Уявіть, як система вивчає поведінку, коли катетер стикається зі стінкою судини, або коли роботизована рука надає надто великий тиск на м’які тканини. Зазвичай, таке навчання вимагає або фізичного тіла, або високоякісної симуляції. У випадку медичних роботів, реальні тіла дуже дефіцитні і регламентовані, а симуляція може вирішити цю проблему.
Nvidia’s Medical Physics Simulation є спробою створити цей досвід віртуально. Це відкрите програмне доповнення до платформи Isaac for Healthcare моделює фізичні взаємодії, що дозволяють роботам уникати багаторічного клінічного навчання. Розробники можуть отримати уособлений досвід за допомогою симуляцій, таких як заторкання провідника на кальцифікованій судині чи різні варіанти респонсу м’яких тканин.
Комплексне моделювання для створення фізичної інтуїції роботів
Фреймворк Nvidia комбінує класичну фізику і генеративний AI для моделювання, як пристрої поводяться в людині. Класичне моделювання управляє механічними правилами, як катетер гнеться, а генеративний AI вчить більш складному, як динаміка візуальних сцен через компонент Cosmos-H Dreams. Разом з додатками Nvidia Warp та Newton, ця система створює численні паралельні навчальні середовища, значно скорочуючи час навчання роботів.
Наведений приклад демонструє, як 8,192 паралельних середовища скоротили час навчання з більш ніж п’яти годин до двох хвилин. Це підкреслює продуктивність, але не гарантовано відтворюваність в клінічних умовах з неповним зображенням чи затримкою датчиків, особливо, коли анатомія виходить за межі змодельованого.
Де тестується втілення фізичного AI
Низка організацій вже перейшла до застосування фізичного AI від Nvidia. CMR Surgical зібрала близько 500 годин анонімних даних для Open-H Embodiment dataset, а Johnson & Johnson MedTech створює цифровий двійник для платформи MONARCH. Інші, як XCath, займаються навчанням автономної навігації по кровоносних судинах.
На даний момент, ці ініціативи перебувають на стадії навчання чи створення наборів даних, і жодна з систем ще не працює на пацієнтах з використанням отриманих політик, як зазначає Nvidia.
Відкрите джерело для фізичних AI систем
Робототехніка в медицині потребує особливої уваги. В цьому випадку, відкрите джерело дозволяє розробникам запевнитися у фізичних припущеннях моделювання та відтворити результати для різних анатомій. Це значно краще, ніж закриті системи, і може полегшити подання заявок до регуляторів, таких як FDA. Але це не вирішує всіх питань валидації, які все ще потребують тестування.
Nvidia створила потужну інфраструктуру для скорочення попереднього апаратного етапу розробки фізичного AI. Це величезний крок вперед у світі медичних роботів, які прагнуть набути фізичного досвіду до взаємодії з реальними пацієнтами.
