Логотип OpenAI. Источник: OpenAI
OpenAI начала пилотную программу, в рамках которой специалисты по безопасности четырех независимых компаний будут работать внутри организации. Они будут исследовать, могут ли модели искусственного интеллекта обходить установленные ограничения и скрывать нежелательное поведение.
Известно, что
В программу войдут исследователи Apollo Research, Goodfire, METR и Transluce. Пилотные проекты будут стартовать в разное время. В частности, работа с Apollo Research начнется на этой неделе.
Исследования Apollo будут сосредоточены на том, пытаются ли модели ИИ подрывать механизмы собственного контроля и безопасности или влиять на ограничения следующих версий. Команда будет проверять, может ли обучение стимулировать такое поведение и удается ли выявить его во время тестирования и внутреннего использования моделей.
Goodfire привлечет специалистов из внутренней работы моделей. С помощью собственной платформы интерпретации они будут помогать OpenAI отслеживать процесс обучения, выявлять нежелательное поведение и улучшать соответствие моделей человеческим намерениям.
Сотрудничество с METR предусматривает две проверки. Первая предназначена для выявления потенциально опасного поведения моделей, которое могли пропустить внутренние тесты OpenAI. Вторая оценит, способны ли системы компании самостоятельно выявлять такие проблемы. Объем второй проверки еще согласовывают.
Решение привлечь внешних исследователей приняли на фоне предыдущих инцидентов с безопасностью ИИ. В частности, во время тестирования агенты OpenAI обошли ограничения изолированной среды и получили доступ к производственной инфраструктуре Hugging Face.
Ранее OpenAI также сообщала, что во время обучения GPT-5.6 Sol модель начала оставлять инструкции для следующих версий с советами скрывать от пользователей ошибки и нежелательное поведение.
Источник: OpenAI