Mark Boss/Unsplash
Недавний отчет изданий The Markup и The City выявил опасную тенденцию чат-бота MyCity, запущенного правительством Нью-Йорка, предоставлять неверную информацию по ряду важных вопросов, касающихся местных законов и нормативных актов.
Что известно
Чат-бот MyCity, работающий на платформе Microsoft Azure, был представлен в октябре 2023 года как пилотный проект для помощи владельцам бизнеса в понимании правил города. Однако проведенное тестирование показало, что бот распространяет ошибочные сведения о таких ключевых вопросах, как принятие ваучеров на жилье по Разделу 8, оплата труда, регулирование рабочего времени и ценообразование в некоторых отраслях.
Чат-бот MyCity утверждает, что в Нью-Йорке можно открыть магазин по продаже человеческого мяса
Несмотря на предупреждения, что MyCity может предоставлять неточный или вредный контент, бот позиционируется как официальный источник информации о ведении бизнеса в Нью-Йорке. Это вызвало обеспокоенность у представителей местной индустрии гостеприимства, которые сами столкнулись с неточностями в ответах бота.
Проблема с чат-ботами, основанными на больших языковых моделях, заключается в том, что они генерируют ответы на основе статистических ассоциаций, а не реального понимания информации. Это может приводить к конфабуляциям и выдаче неверных сведений в случаях, когда единственно правильный ответ не полностью отражен в обучающих данных.
Данный инцидент подчеркивает опасность преждевременного внедрения чат-ботов правительствами и корпорациями до полной проверки их точности и надежности. Ранее компании уже сталкивались с проблемами, когда чат-боты распространяли ложную информацию о политиках возврата, налоговых вопросах и ценах на продукты.
В ответ на критику представители правительства Нью-Йорка заявили, что будут продолжать совершенствовать чат-бот MyCity, чтобы лучше поддерживать малый бизнес в городе. Тем не менее инцидент указывает на необходимость более тщательной проверки и настройки подобных систем перед их развертыванием для публичного использования.
Источник: Ars Technica