Команда исследователей из Токийского университета смогли построить связь между большой языковой моделью GPT-4 и роботом Alter3, что позволило им выполнять более человекоподобные жесты и программировать робота на естественном языке, отказываясь от традиционных аппаратно-зависимых систем управления. Авторы проекта назвали этот прогресс "сменой парадигмы" в робототехнике.
Alter3 — это последняя версия гуманоидного робота, который впервые был введен в эксплуатацию в 2016 году. Он способен выполнять сложные движения верхней части тела, включая детальное выражение лица, имеет 43 оси, имитирующие движение опорно-двигательного аппарата человека. Он опирается на основание, но не может ходить (хотя может имитировать ходьбу). С помощью GPT-4 исследователи научили робота выполнять различные симуляции, такие как селфи, бросание мяча, поедание попкорна и игру на воображаемой гитаре. Раньше для таких действий нужно было кодировать конкретные инструкции для каждого действия, но с использованием GPT-4 роботы могут научиться обычным речевым инструкциям.
-А сыграй нам "Smoke on the Water"
Исследователи утверждают, что "прямое управление теперь становится возможным путем переноса лингвистических выражений человеческих действий на тело робота с помощью программного кода". Это позволяет расширить возможности для сотрудничества между человеком и роботом. Благодаря этому прорыву в области робототехники можно ожидать более интеллектуальные, адаптивные и персональные робототехнические сущности. Робот Alter3 имеет встроенную камеру, что позволяет ему "видеть" людей и совершенствовать свое поведение, наблюдая за их реакцией.
Благодаря использованию языковых моделей в исследованиях робототехники, ученые значительно упрощают процесс координации многих суставов робота путем предоставления вербальных инструкций, описывают варианта движения и получают программный код, который запускает двигатель робота. Это освобождает от рутинной работы, заключающейся в программировании каждого отдельного движения для 43 осей, и позволяет исследователям быстрее, плавнее и точнее перенастраивать и совершенствовать движения робота со временем.
Alter3 показывает зомби
Исследователи также добавили немного юмора к активностям робота Alter3. В одном сценарии робот демонстрирует, что ест пакет попкорна, но потом оказывается, что попкорн принадлежит человеку, сидящему рядом. Выражения лица робота и движения руки передают удивление и стыд.
Источник: techxplore.com