Группа исследователей из Китая и Сингапура опубликовали статью, в которой рассказали о концепции общего компьютерного контроля GCC (General Computer Control) для искусственного интеллекта. Они пытались обучить модель ИИ играть в Red Dead Redemption 2 в качестве примера сложного взаимодействия с компьютером на уровне среднестатического человека. И этот эксперимент исследует возможности создания продвинутого общего искусственного интеллекта (AGI).
ИИ, работающий на основе модели OpenAI GPT-4V, взаимодействовал с компьютером, воспринимая визуальные и звуковые сигналы для интерпретации и принятия решений. Для этого пришлось реализовать сложную систему из шести модулей, которая получила название CRADLE.
Выбор Red Dead Redemption 2 обоснован тем, что это большая комплексная игра с богатой виртуальной средой и разнообразными ситуациями. Также наличие подсказок, интерфейса и диалогов способствует процессу обучения. А управление с помощью мыши и клавиатуры отлично подходило для общей концепции GCC. Исследователи стремились показать, что ИИ способен изучать игру с нуля, подобно человеку, перемещаться по миру и выполнять задания. И определенного прогресса в этом удалось достичь. Система CRADLE смогла выполнять ряд заданий, хотя были исключения, например миссия Protect Dutch, где есть стремительная перестрелка, или задание Search House, которое требует исследование сложной игровой среды.
По итогам исследования выявлено слабое место всей системы — это система машинного зрения GPT-4V. Оказалось, что данная модель ИИ не справляется с обработкой всей визуальной информации. В частности, есть проблема с понимаем мини-карты, с восприятием препятствий в игровой среде и другими элементами. Пока возможности GPT-4V недостаточны для точного пространственно-визуального распознавания.
Возможно, авторы повторят исследование в будущем. В статье упоминается, что их система CRADLE способна работать с играми широкого спектра жанров, не ограничиваясь Red Dead Redemption 2.
Источник:
Tom’s Hardware