Новое исследование Пенсильванского университета показало, что большие языковые модели (LLM) отвечают точнее, если обращаться к ним грубо, а не вежливо.
В опубликованной статье утверждается, что прямолинейные промпты давали правильные ответы в 84,8% случаев, тогда как мягкие формулировки — в 80,8%.
Исследователи переписали 50 базовых вопросов по математике, науке и истории в пяти разных тонах — от «очень вежливого» до «очень грубого». Затем они попросили ChatGPT-4o ответить на каждый из них.
Полученные результаты опровергли предыдущие выводы касательного того, что модели якобы «поощряют» тактичность.
«Вопреки ожиданиям, невежливые запросы стабильно превосходили вежливые. Это может говорить о том, что новые языковые модели иначе реагируют на тональность обращения», — написали авторы Ом Добария и Ахил Кумар.
В исследовании от 2024 года «Стоит ли уважать LLM? Кросс-лингвистическое исследование влияния вежливости промпта на работу языковых моделей» ученые пришли к выводу, что грубые запросы часто ухудшают качество ответов, а чрезмерная вежливость не дает заметных преимуществ.
Новые сведения сигнализируют о том, что современные модели перестали вести себя как «социальные зеркала» и действуют скорее как строго функциональные машины, которые ценят прямоту больше, чем вежливость.
Работа подтвердила более свежие данные Уортонской школы, посвященные искусству формулирования запросов для получения более точных ответов. Оказалось, тон становится столь же важным элементом, как и выбор слов.
Напомним, в мае исследование ученых из Университета Джорджа Вашингтона показало, что быть вежливыми с ИИ-моделями — пустая трата вычислительных ресурсов.