DeepMind создала ИИ-модель для фактчекинга

Чат-боты с искусственным интеллектом

DeepMind представила ИИ-модель SAFE, проверяющую факты в ответах LLM лучше людей.

У всех больших языковых моделей есть одна общая проблема — достоверность сгенерированной информации. Чат-боты подвержены галлюцинациям, которые мешают им верно отвечать на вопросы. Из-за этого каждый результат необходимо проверять вручную, что значительно увеличивает время решения задачи.

Исследователи из DeepMind создали ИИ-модель, автоматически указывающую на неточности. Система получила название Search-Augmented Factuality Evaluator (SAFE) — «Оценщик фактов с расширенным поиском».

Разработчики создали LLM, которая сперва разделяет утверждения или факты в ответе чат-ботов. Затем она используют Google Search для поиска сайтов, верифицирующих утверждения, и производит сравнение.

По словам исследователей, использование ИИ-модели обойдется в 20 раз дешевле, чем проверка фактов людьми. Поскольку объем генерируемой чат-ботами информации стремительно растет, наличие дешевого способа верификации будет востребовано.

Для обучения команда использовала нейросеть для проверки 16 000 фактов, содержащихся в ответах 13 основных языковых моделей из четырех семейств (Gemini, GPT, Claude и PaLM-2). Они сравнили результаты с заключениями живых фактчекеров и обнаружили, что SAFE совпадает с ними в 72% случаев.

При проверке разногласий между ИИ-моделью и людьми SAFE оказался прав в 76% случаев.

On a quick read I can’t figure out much about the human subjects, but it looks like superhuman means better than an underpaid crowd worker, rather a true human fact checker? That makes the characterization misleading. (Like saying that 1985 chess software was superhuman).…

— Gary Marcus (@GaryMarcus) March 28, 2024

По словам профессора Гэри Маркуса, не совсем корректно утверждать, что ИИ-модель справляется с задачей на «сверхчеловеческом уровне», поскольку неизвестен уровень квалификации людей, которые принимали участие в эксперименте.

Команда DeepMind разместила код SAFE на GitHub.

Напомним, в сентябре 2023 года соучредитель компании Мустафа Сулейман назвал интерактивных ботов, которые могут выполнять задачи за человека, следующим этапом развития ИИ.

Подписывайтесь на новости AIcybernews.com в Twitter и Facebook

Другие новости

0 0 голоса
Рейтинг статьи
Подписаться
Уведомить о
guest
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии

Актуально

Последние новости

ИИ-бот с открытым исходным кодом ворует криптовалюты

Боты на основе искусственного интеллекта (ИИ) стали крайне популярны среди криптотрейдеров. Однако эти умные помощники не так безобидны: эксперты по кибербезопасности обнаружили ИИ-бота,...

DeepCool представила корпус CH160 для плат Mini-ITX

Компания DeepCool анонсировала поступление в продажу корпуса CH160 для материнских плат формата Mini-ITX. Как подчёркивает вендор, он подойдёт для сборки мощного игрового компьютера, а...

Около половины пресейлов на базе Solana оказались скамом

Более 40% проектов в экосистеме Solana прекратили дальнейшее развитие спустя месяц после проведения пресейла. К такому выводу пришел независимый ончейн-аналитик ZachXBT. Эксперт...