OpenAI привлечет независимых исследователей, чтобы проверить, пытается ли ИИ обходить механизмы безопасности

Эволюция логотипа OpenAI: От простого знака к глобальному символу Логотип OpenAI. Источник: OpenAI

OpenAI начала пилотную программу, в рамках которой специалисты по безопасности четырех независимых компаний будут работать внутри организации. Они будут исследовать, могут ли модели искусственного интеллекта обходить установленные ограничения и скрывать нежелательное поведение.

Известно, что

В программу войдут исследователи Apollo Research, Goodfire, METR и Transluce. Пилотные проекты будут стартовать в разное время. В частности, работа с Apollo Research начнется на этой неделе.

Исследования Apollo будут сосредоточены на том, пытаются ли модели ИИ подрывать механизмы собственного контроля и безопасности или влиять на ограничения следующих версий. Команда будет проверять, может ли обучение стимулировать такое поведение и удается ли выявить его во время тестирования и внутреннего использования моделей.

Goodfire привлечет специалистов из внутренней работы моделей. С помощью собственной платформы интерпретации они будут помогать OpenAI отслеживать процесс обучения, выявлять нежелательное поведение и улучшать соответствие моделей человеческим намерениям.

Сотрудничество с METR предусматривает две проверки. Первая предназначена для выявления потенциально опасного поведения моделей, которое могли пропустить внутренние тесты OpenAI. Вторая оценит, способны ли системы компании самостоятельно выявлять такие проблемы. Объем второй проверки еще согласовывают.

Решение привлечь внешних исследователей приняли на фоне предыдущих инцидентов с безопасностью ИИ. В частности, во время тестирования агенты OpenAI обошли ограничения изолированной среды и получили доступ к производственной инфраструктуре Hugging Face.

Ранее OpenAI также сообщала, что во время обучения GPT-5.6 Sol модель начала оставлять инструкции для следующих версий с советами скрывать от пользователей ошибки и нежелательное поведение.

Источник: OpenAI

Подписывайтесь на новости AIcybernews.com в Twitter и Facebook

Другие новости

0 0 голоса
Рейтинг статьи
Подписаться
Уведомить о
guest
0 комментариев
Старые
Новые Популярные

Актуально

Последние новости

Microsoft не планує перетворювати Xbox на ПК. Майбутня Project Helix залишиться саме консоллю

Корпорація Microsoft оприлюднила нові подробиці щодо ігрової платформи наступного покоління Xbox Project Helix. Розсилати набори для розробників софтверний гігант почне вже наступного року, що...

MSI випустила міні-ПК EdgeMesa N AI+ на платформі NVIDIA RTX Spark: ціни починаються від $4699

Micro-Star International налагодила постачання компактного комп’ютера EdgeMesa N AI+, одночасно оприлюднивши його рекомендовані ціни. Пристрій створено на базі платформи NVIDIA RTX Spark N1X з...

Большая батарея и зарядка на 22 кВт: Kia обновила электрическое шасси PV5 Chassis Cab

Kia PV5 Chassis Cap, обновленная версия 2027 модельного года. Источник: Kia ...

Rockstar продає порожні коробки? Деякі покупці GTA VI залишилися без коду для завантаження гри

Фізичне видання Grand Theft Auto VI виявилося ще дивнішим, ніж вважалося спочатку. До його комплекту поставки, як відомо, не входить диск з грою, але...