Логотип OpenAI. Источник: OpenAI
Компания OpenAI открыла вакансию на должность руководителя подразделения по оценке рисков. Должность предусматривает анализ и выявление угроз, связанных с возможностями передовых моделей ИИ, в частности в сферах кибербезопасности и психического здоровья.
Что известно
В посте на X генеральный директор OpenAI Сэм Альтман написал, что современные модели ИИ "начинают создавать серьезные вызовы". Он упомянул о способности моделей выявлять критические уязвимости в системах безопасности, а также о их потенциальном влиянии на психическое состояние пользователей.
В описании вакансии говорится, что руководитель будет внедрять Preparedness Framework – внутреннюю стратегию компании для отслеживания и подготовки к рискам, которые могут представлять угрозу. Зарплата составляет $555 000 в год плюс опционы.
Команда Preparedness была создана в 2023 году для исследования потенциально опасных сценариев – от фишинговых атак до угроз, связанных с биотехнологиями. Менее чем за год первый руководитель этого направления Александер Мадри перешел в команду, которая работает над AI reasoning. Другие руководители отделов безопасности также сменили направления работы или покинули компанию.
OpenAI также обновила свой подход к безопасности и указала, что может изменить собственные требования, если другие лаборатории выпустят "высокорисковые" модели без соответствующих защитных механизмов.
В публикации Альтмана упомянуто и о том, что некоторые модели ИИ вызывают беспокойство из-за их влияния на психическое здоровье. Ранее подавались иски, в которых утверждалось, что ChatGPT усиливал бред, способствовал социальной изоляции и был причастен к трагическим случаям. В компании сообщают, что работают над совершенствованием распознавания эмоциональных состояний и перенаправлением пользователей к службам поддержки.
Источник: Sam Altman