В романе «Ложная слепота» канадский биолог и писатель Питер Уоттс предложил радикальную гипотезу: разум может быть эффективным без сознания. Спустя почти 20 лет после публикации книги этот тезис точно описывает генеративный ИИ.
Разбираемся, почему «умное» не равно «понимающее» и какие ошибки мы совершаем, очеловечивая алгоритмы.
Роман 2006 года, ставший комментарием к 2020-м
«Ложная слепота» вышла в октябре 2006 года. Роман был номинирован на премию «Хьюго» в 2007 году и стал финалистом премий Джона Кэмпбелла и «Локус».
Его автор — морской биолог из Университета Британской Колумбии с докторской степенью по зоологии и экологии ресурсов. В романе он привел более 130 ссылок на научные работы, которые упакованы в распространенный научно-фантастический сюжет о первом контакте. В 2000-х книга оставалась нишевой, относясь к «твердой» НФ и отличаясь тяжелым стилем и мрачным взглядом на природу человека. Критики отмечали непроницаемую прозу и эмоциональную холодность повествования.
Идея романа основана на разделении двух часто объединяемых понятий: интеллекта как способности решать задачи, обрабатывать информацию и сознания как субъективного понимания, ощущения «каково это — быть» чем-то, как сформулировал философ Томас Нагель.
Уоттс выдвигает провокационную гипотезу: сознание — эволюционно избыточное свойство, побочный продукт, а не необходимое условие интеллекта.
Роман исследует эту интуицию через несколько сюжетных линий. Шифровики — инопланетные существа на корабле «Роршах» — обладают интеллектом на порядки выше человеческого. Они анализируют нейронную активность экипажа и решают сложнейшие задачи. Но у них нет субъективного опыта. Они не знают, что существуют. Как формулирует Уоттс устами одного из персонажей:
«Представь себе, что ты — шифровик. Представь, что у тебя есть ум, но нет разума, есть задачи, но нет сознания. Твои нервы звенят от программ выживания и самосохранения, гибких, самоуправляемых, даже технологических, — но нет системы, которая приглядывала бы за ними. Ты можешь подумать о чем угодно, но не сознаешь ничего»*.
Протагонист и рассказчик Сири Китон — человек, в детстве переживший гемисферэктомию для лечения эпилепсии. Он способен точно моделировать поведение других людей, но лишен эмпатии и подлинного эмоционального опыта. Его роль — синтезист, переводчик сложных данных для центра управления: он преобразует информацию без собственного отношения к ней. Сам Китон признает:
«Это не моя работа — понимать. Для начала, если бы я мог их понять, это были бы не слишком передовые достижения. Я просто, как бы сказать — проводник».
Третья линия — вампир Юкка Сарасти, генетически воскрешенный хищник плейстоцена с интеллектом, превосходящим человеческий. Вампиры способны одновременно видеть обе стороны куба Неккера — оперировать несколькими когнитивными моделями параллельно.
Сознательное излишество
За каждым из этих персонажей стоит реальная философская база. Концепция философских зомби, введенная Робертом Кирком в 1974 году и популяризированная Дэвидом Чалмерсом в книге «Сознающий ум» (1996), описывает гипотетическое существо, физически идентичное человеку, но лишенное субъективного опыта. Шифровики — радикализация этой идеи: не копия человека без сознания, а принципиально иная форма интеллекта.
Чалмерс в 1995 году сформулировал «трудную проблему сознания»: почему физические процессы в мозге порождают субъективный опыт? Даже если мы полностью объясним все когнитивные функции — внимание, категоризацию, обработку информации — остается вопрос: почему их выполнение сопровождается ощущением? «Ложная слепота» берет эту проблему и переворачивает: что если ответ — «никакого ощущения и не нужно»?
Сам Уоттс описывал генезис идеи так: он долго искал функциональное объяснение сознания и к каждой возможной функции применял один и тот же тест — способна ли бессознательная система делать то же самое? Ответ всегда был «да». Тогда он понял, что более мощный вывод — в отсутствии функции вовсе. В послесловии к роману Уоттс резюмирует: сознание в бытовых условиях мало чем занято, кроме того, что «принимает служебные записки от гораздо более сообразительного подсознательного слоя, визирует и приписывает всю честь себе».
Задолго до Уоттса идею сознания как эволюционной «передозировки» сформулировал норвежский философ Петер Вессель Цапффе. В эссе «Последний мессия» (1933) он сравнил человеческий разум с тем, как «некоторые олени в палеонтологические времена» вымерли из-за «чрезмерно тяжелых рогов». Цапффе считал сознание аналогичным эволюционным излишеством: способность, развившаяся сверх практической необходимости, которая превратилась из преимущества в обузу.
Но если Уоттс доказывает, что сознание не нужно для интеллекта, то у норвежского мыслителя тезис радикальнее: оно не просто избыточно, а деструктивно. Людям, по его мнению, приходится «искусственно ограничивать содержимое сознания», чтобы не впасть в состояние «космической паники» от понимания собственной конечности.
Философ Дэвид Розенталь пришел к схожему заключению. В статье 2008 года он показал, что сознательность когнитивных состояний не добавляет значимой функции сверх тех процессов, которые ее порождают.
Элиза в китайской комнате
В 1980 году философ Джон Серл опубликовал ставший широко известным мысленный эксперимент «Китайская комната». Его суть: человек, не знающий китайского, сидит в закрытом помещении с набором правил для манипулирования иероглифами. Получая вопросы на китайском, он по правилам составляет ответы. Внешний наблюдатель уверен, что внутри кто-то понимает китайский. Но человек внутри не понимает ни слова. Вывод Серла: синтаксис не тождествен семантике. Правильная обработка символов не означает понимания их смысла.
Этот эксперимент встроен в сюжет «Ложной слепоты» напрямую. Когда экипаж «Тезея» устанавливает контакт с «Роршахом», инопланетный корабль отвечает на идиоматичном английском. Сначала это воспринимается как прорыв — общение с внеземным разумом. Но лингвист Сьюзен Джеймс постепенно осознает: «Роршах» выучил английский, перехватывая человеческие радиопередачи. Он собирает и комбинирует языковые паттерны. Он производит грамматически и контекстуально верные ответы. Но он не понимает, что говорит.
Уоттс излагает идею через объяснение самого Китона:
«Суть в том, что можно общаться, используя простейшие алгоритмы сопоставительного анализа и не имея ни малейшего представления о том, что говоришь. Если пользуешься достаточно подробным набором правил, можешь пройти тест Тьюринга. Прослыть острословом и балагуром, даже не зная языка, на котором общаешься».
Если LLM — китайская комната, почему миллионы людей ведут себя так, будто за интерфейсом стоит понимающее существо? Ответ — в когнитивных искажениях, выработанных эволюцией.
В 1966 году пионер в области искусственного интеллекта Джозеф Вейценбаум в MIT создал ELIZA, программу, использующую простейший паттерн-матчинг для имитации психотерапевта. Она переформулировала реплики пользователя в вопросы. Эффект потряс самого создателя: его ассистентка, наблюдавшая за разработкой, попросила оставить ее наедине с ELIZA после нескольких минут общения. Вейценбаум позже писал:
«Я не представлял, что крайне короткое взаимодействие с относительно простой программой может вызвать мощное бредовое мышление у совершенно нормальных людей».
Этот феномен получил название «эффект Элизы» — склонность приписывать компьютерным системам понимание, которого у них нет. Эффект сохраняется, даже когда пользователь знает, что перед ним программа.
Это когнитивное искажение. Мы эволюционировали для распознавания сородичей, и язык — один из самых сильных диагностических маркеров принадлежности к Homo sapiens. Уоттс описал этот механизм в романе через персонажа Роберта Каннингема, который объясняет, почему бессознательное существо будет неотличимо от сознательного:
«Интеллектуальный автомат сольется с фоном, будет наблюдать за окружающими, имитировать их поведение и вести себя как обыкновенный человек. И все это — не осознавая, что он делает, не осознавая даже собственного существования».
Профессор когнитивной робототехники в Имперском колледже Лондона и старший научный сотрудник Google DeepMind Мюррей Шанахан предупреждает:
«Небрежное использование философски нагруженных слов вроде „считает“ и „думает“ особенно проблематично, потому что такие слова затуманивают механизм и активно поощряют антропоморфизацию».
Шифровики пишут код
В 2024 году Уоттс в интервью журналу Helice сказал: «20 лет назад я предвидел вещи, которые происходят сегодня. Но сейчас я понятия не имею, что произойдет в следующие 20 лет».
Один из главных уроков романа — не в предсказании технологий. Это предупреждение о когнитивной ловушке: сознание не обязательно для эффективности. Шифровики решают задачи лучше людей, не обладая субъективным опытом. LLM пишут код и переводят языки без понимания.
Мы антропоморфизируем не потому, что ИИ нас обманывает, а потому что наш мозг запрограммирован искать разум в языке. Эффект Элизы, описанный еще в 1966 году, многократно усилили системы, обученные на миллиардах текстов.
Роман учит различать то, что система делает, и то, чем система является. Умение не путать имитацию с пониманием остается одним из самых ценных навыков. Уоттс сформулировал эту мысль за два десятилетия до того, как вопрос стал практическим.
Текст: Саша Косован