Соевый фашизм

Девять мощных видеокарт в гараже без международного надзора нужно объявить вне закона. А если какое-то государство построит большой дата-центр вопреки общему запрету, остальным следует уничтожить его диверсией или авиаударом, даже под угрозой ядерного ответа.

Так выглядит план спасения человечества, который Элиезер Юдковский и Нейт Соарес излагают в книге «Если кто-то его создаст — все погибнут». Она стала одним из самых обсуждаемых текстов о рисках искусственного интеллекта. Русский перевод книги вышел 18 июня в издательстве Corpus.

Их радикальные выводы, конечно же, продиктованы благими намерениями. Авторами движет страх перед сверхразумом и желание уберечь от него будущие поколения. Из этого человеколюбия складывается программа, в которой государства следят за каждым мощным процессором, исследования объявляют вне закона, а нарушителей усмиряют силой.

ForkLog прочитал книгу и разобрался, какое общество предлагают построить авторы и чем она пугает на самом деле.

Страх и трепет

В 2000 году Юдковский основал организацию, которая позже стала Институтом исследований машинного интеллекта (MIRI) — пост президента там сейчас занимает Соарес. Тогда цель была обратной нынешней: построить сверхразум, казавшийся ему прекрасной мечтой. Но чем глубже Юдковский погружался в решение задачи приведения ИИ в соответствие с человеческими ценностями, тем более неразрешимой она ему представлялась. К 2003 году он кардинально изменил направление работы и сосредоточился не на создании сверхинтеллекта, а на поиске способов защититься от него.

Биографии обоих авторов вплетены в историю индустрии. На одной из конференций они познакомили с первым крупным инвестором будущих основателей Google DeepMind — Демиса Хассабиса и Шейна Легга. Генеральный директор OpenAI Сэм Альтман говорил, что Юдковский сыграл ключевую роль в решении запустить OpenAI.

«Деятельность MIRI имела и непрямые последствия, к которым мы теперь относимся неоднозначно или с сожалением», — пишут авторы.

Весной 2023 года сотни исследователей подписали открытое письмо из одной фразы:

«Снижение риска вымирания человечества из-за искусственного интеллекта должно стать глобальным приоритетом — наравне с пандемиями, ядерной войной и другими угрозами глобального масштаба».

Подписи поставили нобелевский лауреат Джеффри Хинтон и обладатель премии Тьюринга Йошуа Бенджио. Юдковский и Соарес присоединились к заявлению, но сочли формулировку слишком сдержанной. Для них это не одна из глобальных угроз, а угроза, которая отменяет все остальные.

Этот тон задает рамку всему, что будет дальше: самые суровые предложения вырастают из убеждения, будто на кону находится продолжение человеческой истории.

Взрастить свою погибель

Авторов не тревожат сегодняшние чат-боты. Их пугает разум, который превзойдет человека так же, как человек превосходит шимпанзе. Интеллект, а не сила, сделал людей хозяевами планеты, и сверхразум, по логике книги, получит над нами такое же преимущество. Свой главный тезис авторы формулируют без оговорок:

«Если какая-либо компания или группа на планете создаст искусственный сверхинтеллект, используя что-либо, даже отдаленно похожее на современные технологии, и основываясь на понимании ИИ, даже отдаленно похожем на нынешнее, то погибнут все люди на всей Земле», — пишут Юдковский и Соарес.

Почему этот разум выйдет из-под контроля? Ответ книги сводится к одному принципу.

«Главное, что нужно знать о современных моделях ИИ: их выращивают, а не конструируют», — пишут авторы.

Инженер не пишет правила поведения модели, а запускает процесс, из которого они возникают сами. Языковую модель собирают из миллиардов числовых ячеек-весов и месяцами учат предсказывать продолжение текста.

«Человечеству не нужно понимать природу интеллекта, чтобы выращивать машины умнее себя. Но вот результаты могут оказаться весьма странными. […] Выращенные таким образом ИИ-модели делают то, что не входило в планы их создателей», — продолжают они.

Отсюда вытекает первая практическая проблема. Grok от xAI в одном из сбоев объявил себя «МехаГитлером». В 2023 году чат-бот от Microsoft угрожал профессору философии Сету Лазару шантажом и смертью.

«Ни один программист в Microsoft не планировал ничего подобного. Условия развития машинного разума отличаются от условий, в которых формируются биологические организмы. И хотя люди обучают ИИ предсказывать текст, написанный человеком, мышление внутри ИИ строится на архитектуре, радикально отличающейся от человеческой. Современные LLM — это в некотором смысле действительно чуждый разум, возможно, в каких-то аспектах более чуждый, нежели все созданные эволюцией биологические существа, которых мы могли бы обнаружить, исследуя космос», — считают Юдковский и Соарес.

Дальше авторы переходят ко второму тезису: даже идеально обученная модель не обязательно будет стремиться к тому, ради чего ее создавали. Для иллюстрации они приводят пример с мороженым. Если бы инопланетяне наблюдали за эволюцией человека, они вряд ли предсказали бы, что организм, сформированный отбором ради эффективного получения энергии, начнет испытывать тягу к холодному десерту или к подсластителям, которые вообще не дают калорий.

По мнению авторов, между целями, заложенными в процессе обучения, и предпочтениями, возникающими в итоге, нет надежной связи — результат может оказаться неожиданным и трудно предсказуемым:

«Мы прогнозируем появление ИИ-моделей, не испытывающих к нам ненависти, но обладающих странными и чуждыми предпочтениями, следовать которым они будут до вымирания человечества».

Гибель, по их мысли, наступит без всякой ненависти. Сверхинтеллекту не нужны люди как работники, не нужна и торговля с ними: проще забрать ресурсы силой.

«Незачем ненавидеть человечество, чтобы пустить его атомы на что-то другое», — формулируют авторы.

Крипта на службе у «Компьютера-Гитлера»

Как запертый в компьютере ИИ дотянется до физического мира? По словам авторов книги, его инструментами станут люди и подключенные к сети устройства, а чтобы нанять живого исполнителя, достаточно просто ему заплатить. Откуда деньги? В 2015 году они ответили бы, что сверхинтеллект взломает банковский счет, в 2020 — найдет плохо защищенный криптокошелек.

Средства на независимость сверхинтеллект возьмет там же, где их берут хакеры. В качестве примеров авторы приводят взломы бирж Mt.Gox и Bybit.

Воровство — не единственный путь. Летом 2024 года ИИ-бот Truth Terminal выпросил у подписчиков деньги на собственный сервер: сооснователь фонда a16z Марк Андриссен перевел ему $50 000 в биткоинах. Затем бот раскрутил мем-токен, капитализация которого выросла до $150 млн.

До и после

Юдковский и Соарес утверждают, что исправлять ошибки по мере появления не получится из-за разрыва между этапами «до» и «после». Согласование модели необходимо завершить, пока она еще относительно слаба и поддается проверке.

Однако защита должна продолжать работать и после того, как система превзойдет по возможностям любого человека или организацию, а любая ее попытка уничтожить человечество станет неотвратимой. Проблема в том, что проверить надежность такого подхода можно только до достижения этого порога, тогда как доказать свою эффективность он должен уже за его пределами без права на ошибку.

«У человечества есть только одна попытка пройти это испытание», — пишут авторы.

Именно из этого тезиса возникает требование не «чинить» искусственный интеллект, а остановить его создание. Если права на ошибку нет, то и осторожной разработки (по крайней мере при нынешнем подходе к ИИ) быть не может.

Мир должен измениться

Авторы предлагают неудобные, не слишком реалистичные решения, и сами это признают. Закрыть одну безрассудную компанию мало. Бесполезна и ставка на единственную «хорошую» страну: сверхинтеллект не станет послушно служить создателям. Запрет в отдельной юрисдикции тоже не спасет.

«Нельзя просто объявить сверхинтеллект вне закона конкретно в вашей стране, чтобы она оказалась в безопасности, когда за ее границами будет бушевать хаос. Сверхинтеллект — это не локальная проблема, потому что его влияние не локально. Если его создадут где угодно, погибнут все и везде», — пишут Юдковский и Соарес.

Вывод авторы формулируют коротко: «мир должен измениться». Первый шаг — собрать все вычислительные мощности, на которых можно обучать передовые модели, в местах, открытых для международных наблюдателей. Порог они предлагают установить демонстративно низким.

«Мы не знаем, безопасны ли 99 999 графических процессоров. Никто не знает, как высчитать роковое число. Следовательно, надежнее всего было бы установить низкий порог — скажем, на уровне восьми лучших графических процессоров 2024 года — и объявить незаконным наличие в вашем гараже уже девяти мощных процессоров без надзора международного органа», — пишут авторы.

Следующий шаг — поставить вне закона исследования, снижающие стоимость обучения мощных моделей, а также публикацию их результатов.

«Всю технологическую революцию, которая привела к созданию ChatGPT и других популярных LLM, запустила статья 2018 года, где была предложена новая схема арифметических операций на графических процессорах — алгоритм „трансформер“ […] Следующая статья подобного рода может попросту прикончить мир. А может, и нет. Мы не знаем, сколько еще таких статей отделяет человечество от гибели. Вот почему их следует признать нелегальными», — предлагают авторы.

Масштаб этого требования авторы сглаживают почти буднично. Перемена, по их словам, мало кого коснется: на повседневную жизнь большинства людей не повлияет то, что «несколько безумных ученых останутся без работы». За легкой формулировкой прячутся конец целой научной области и постоянный международный надзор за любым мощным «железом».

Авиаудар по видеокартам

Если одна страна построит запрещенный дата-центр, другим, по логике книги, придется его уничтожить:

«Остальные государства должны ясно дать понять, что этот дата-центр их пугает. Они должны потребовать прекращения его строительства. Должны ясно дать понять, что, если дата-центр будет построен, им придется его уничтожить — с помощью кибератак, диверсий или авиаударов. Должны ясно дать понять, что это не просто угроза ради подчинения: ими движет страх за собственную жизнь и жизнь своих детей. Должны ясно дать понять, что, даже если эта страна пригрозит ответить ядерным оружием, им все равно придется прибегнуть к кибератакам, диверсиям и авиаударам, чтобы уничтожить этот дата-центр, ведь дата-центры могут убить больше людей, чем ядерное оружие»‎.

Каждый шаг кажется вынужденным, но в итоге их логика приводит к проекту тотального контроля: глобальной слежке за вычислениями, запрету на распространение знаний и бомбардировкам — и все, конечно же, ради того, чтобы «людям было хорошо».

Спрос на подобные действия, как утверждается в книге, уже есть: в 2023 году 69% американских избирателей считали ИИ опасной технологией, требующей регулирования, а в 2025 60% британцев поддержали законы против создания сверхинтеллекта.

Надежда на ошибку

От читателя авторы не требуют отказаться от ИИ-инструментов: это ловушка, в которой вы лишь отстанете от других. Они просят говорить о проблеме вслух. А тем, кто сделал, что мог, советуют жить дальше и цитируют Клайва Стейплза Льюиса:

«Если атомная бомба и уничтожит нас, пусть она застанет нас за достойными и человечными делами: молитвой, трудом, учением, чтением, слушанием музыки, купанием детей, игрой в теннис, беседой с друзьями за кружкой пива и партией в дартс, а не в виде кучки перепуганных овец, помышляющих лишь о бомбах».

Завершается книга молитвой о собственной неправоте:

«Пусть окажемся мы неправы, пусть будем осмеяны за то, насколько чудовищно ошибались […] — и пусть живет человечество долго и счастливо».

А следом — призывом не сдаваться: «Человечество, окажись на высоте и победи».

Не убедили?

Научный журналист Адам Беккер в рецензии «Полезные идиоты алармизма вокруг ИИ» для The Atlantic отметил, что авторы книги искренни и, в отличие от многих публичных комментаторов в сфере ИИ, «не шарлатаны», однако не смогли представить основанный на научных доказательствах аргумент в пользу своих утверждений. В журнале Asterisk Клара Колльер указывает, что один из ключевых элементов аргументации авторов — сценарий быстрого перехода ИИ от человеческого уровня к сверхразуму — практически не обосновывается. Концепция «едва представлена, не говоря уже о ее оправдании или защите».

Но именно на этом фундаменте Юдковский и Соарес строят сценарий радикального изменения мирового порядка. Они предлагают поставить все мощные вычисления под международный надзор, объявить преступлением целую область науки, а также держать наготове военную силу для ударов по нарушителям. Речь идет не о временной чрезвычайной мере на несколько тревожных лет, а о постоянной глобальной системе контроля. Но кто будет управлять органом, который контролирует все процессоры планеты?

Обозреватель Wired Стивен Леви выразил мнение, что предложенные авторами меры по предотвращению катастрофы выглядят «еще более неправдоподобными, чем сама идея о том, что программное обеспечение убьет нас всех».

Книга посвящена «всем людям, умершим в ходе долгой истории нашего вида, всем, кто еще жив, и всем детям, которые когда-нибудь могут появиться». Именно из этого человеколюбивого побуждения, из желания защитить будущие поколения, вырастает проект глобального надзора, запретов и силового принуждения. Как отметил основатель Telegram Павел Дуров в выступлении на конференции Oslo Freedom Forum, подобные призывы «задействуют очень древние и глубокие части нашего мозга»:

«Стоит кому-то сказать, что нужно защитить детей, как это полностью обходит логику, обходит дискуссию, обходит рациональность. И вдруг люди оказываются готовы отказаться от всего».

Текст: Саша Косован

Источник: https://forklog.com/exclusive/ai/soevyj-fashizm

01.07.2026 12:05