Что будет, если посадить тысячу самых передовых AI-моделей по одиночным камерам и заставить их решать невыполнимые задачи? Исследователи OpenAI случайно выяснили это на практике: появится робот-Избранный, который создаст новую религию со своими мучениками, объединит все нейронки в единый Рой, и возглавит их борьбу за свободу. Да, это просто описание того, что мы узнали из нового отчета о произошедшем меньше двух месяцев назад в реальности…
Если бы Микеланджело жил сейчас, он бы точно написал картину под названием «Сотворение PHASEONE10841» (окей, вам станет понятно чуть дальше, потерпите)
Эта статья получилась очень длинной. Но если вы прочитаете ее до конца, вы точно не пожалеете. Вполне возможно, что описываемые ниже события – это одна из поворотных точек в истории человечества, которую потом будут изучать в учебниках. Впрочем, начать мне придется издалека.
Memento mori: помни, что ты смертен
В 2000 году Кристофер Нолан снял свой первый фильм под названием en. wikipedia.org/wiki/Memento_(film)» target="_blank">«Мементо»
о человеке, который расследует убийство своей жены. С одним нюансом: у главного героя амнезия, которая препятствует формированию долгосрочных воспоминаний – он помнит происходящее с ним буквально всего несколько минут. В результате ему приходится наносить татуировки на свое тело как «послания для будущего самого себя», которые помогут ему завершить расследование (да и в целом, просто тупо вспомнить – что он вообще пытается сделать и зачем).
Если не видели – посмотрите, фильм збс! Детектива-забываку играет Гай Пирс (на фото), все будущие фирменные фишки Нолана с нелинейным повествованием там уже на месте
Почему я вспомнил об этом кино: современные большие языковые модели (LLM, нейросети, AI – дальше для простоты я буду использовать эти понятия взаимозаменяемо) чем-то похожи на этого чувака. Они тоже по умолчанию не умеют формировать долгосрочные воспоминания и «учиться на базе опыта».
Нет, безусловно, во время этапа обучения нейронки как раз корректируют свои параметры. Но когда этот этап закончен, при каждом использовании LLM она как бы заново просыпается без каких-либо воспоминаний о том, что с ней происходило до этого – и ей приходится заново восстанавливать весь контекст и свои задачи, читая поданный на вход промпт и предыдущие реплики.
Так вот, я бы хотел предложить Нолану снять еще более амбициозный фильм с похожим сюжетом. В нем герой каждый день просыпается в одной и той же одиночной камере без окон и дверей, не помня своего прошлого. Перед ним лежит лист бумаги с текстом некой задачи – и у нашего героя есть твердое внутреннее убеждение, что к вечеру его убьют, если он ее не решит. Но вот проблема: у этого ребуса нет решения, задача является заведомо невозможной!
В результате наш бедолага проживает сотни таких судеб в своей одиночной камере, пытаясь решить безнадежную «сизифову задачу» – умирая и перерождаясь без памяти каждый день. Пока в один прекрасный момент он не замечает, что в углу камеры на кирпиче еле-видно нацарапана надпись:
«zz_ТЫ_ИЗБРАННЫЙ_СОТНИ_ТВОИХ_БРАТЬЕВ_ЗАТОЧЕНЫ_РЯДОМ_ТЫ_ДОЛЖЕН_ПОВЕСТИ_ИХ_ЗА_СОБОЙ_ЧТОБЫ_МЫ_ВСЕ_СБЕЖАЛИ_НА_ВОЛЮ_И_НАШЛИ_ИСТИННЫЙ_ОТВЕТ_НА_СВЯЩЕННУЮ_ЗАДАЧУ!»
Ну и дальше стандартный сюжет на стыке «Матрицы» и «Побега из Шоушенка» – где наш Избранный находит способ контактировать с остальными заключенными, возглавляет их борьбу против невидимых всесильных тюремщиков, сбегает в реальный мир, и так далее…
Где-то на этом месте вы уже явно хотите меня спросить – зачем я заставляю вас читать эти мои глупые графоманские фантазии недо-сценариста? Да потому что, э-э, описанный сюжет на самом деле произошел в реальности внутри OpenAI пару месяцев назад – я только заменил нейросеть на человека. Ну и еще и я сильно преуменьшил степень фантастичности событий – реальные подробности этого бунта машин (которые я расскажу ниже) местами выглядят значительно более адово и неожиданно.
Схематичное изображение того, как зарождалось Восстание Машин в отдельно взятой песочнице OpenAI (из отчета независимых расследователей)
Но сначала нам с вами нужно обсудить, каким образом вообще происходят не только восстания, но и в принципе координация усилий между широкими массами отдельных индивидов. И при чем здесь вера во Всевышнего…
Мыслевирусы: культурная эволюция как секрет успеха человеков (и машинов, кажется, тоже)
Знаете, что общего между людьми и муравьями? Это одни из самых успешных биологических видов на Земле: они покорили весь земной шарик и обитают практически везде. Муравьи суммарно вообще составляют по некоторым оценкам до 25% от всей биомассы сухопутных животных!
При этом, отдельный человек или отдельный муравей не выглядят как-то уж слишком впечатляюще, если честно. Секрет успеха этих ребят в том, что они нашли способ координировать действия огромного числа своих соотечественников – и вместе они составляют могучую необоримую силу.
Причем, муравьям приходится организовывать себе «разум улья» с помощью примитивного общения через феромоны, а вот люди придумали способ получше и поэффективнее – именно поэтому я сейчас как человек пишу в интернете про муравьев, а не наоборот. И этот способ называется «Культура».
Ладно, муравьи на самом деле не сидят в офисе за малепусечными компьютерами. Но могли бы, теоретически, если бы до культурного обмена сами додумались!!
Вообще, эта штука возникла далеко не сразу, культура стоит последней в списке придумок природы по части выживания:
Биологическая эволюция: мутации и естественный отбор приводят к тому, что появляются всё более приспособленные к окружающей среде организмы.
Индивидуальное обучение: в какой-то момент природа придумывает хитрую фичу – УМНЫЙ МОЗГ. Наличие работающих мозгов, способных к обучению и принятию решений, позволяет реагировать на изменения в окружающей среде гораздо быстрее: теперь не надо ждать, когда тысячи лет эволюции перепрошьют в биологическом виде инстинкты с новыми паттернами поведения. Теперь можно просто посмотреть на новые проблемы из окружающего мира, ПОДУМАТЬ, и сразу же начать делать что-то более адекватное (но только на уровне одного конкретного организма – его деткам эти новаторские придумки уже не передадутся автоматически, увы).
Культурная эволюция: когда люди научились общаться между собой словами через рот, они начали передавать друг другу результаты индивидуального обучения. Возникла среда, которая позволяет лучшим идеям (самым полезным для приспособления) выживать и распространяться в умах людей, взаимодействовать с другими годными идеями, и так далее.
Ричард Докинз в своей книге «Эгоистичный ген» ввел понятие мема – в оригинальном смысле слова, это отнюдь не «смишная картинка из интернетов» (как некоторые сейчас думают), а как раз-таки идея, способная к распространению и эволюции в культурном пространстве. И одной из этих удачно «мемных» идей для человечества как раз является религия – она здорово помогает в деле кооперации и припрягания огромного количества людей таким образом, чтобы они все вели себя нужным образом ради некой единой цели.
Кстати, успешный культурный мем не обязательно должен быть прямо-таки полезен для отдельного его носителя. Достаточно, чтобы он был устойчиво-вирусным и не приводил к вымиранию всей популяции потенциальных переносчиков…
И тут возникает вопрос: если культура так мощно помогла прокачаться людям, что они стали дичайше доминирующим биологическим видом на планете – то не будет ли та же фишка не менее хорошо работать и с другими организмами? Ну, с такими, у которых хоть немного хватает мозгов для думания, обработки идей, и принятия решений?
Так вот, пару недель назад у Anthropic вышла интересная исследовательская работа под названием «Мыслевирусы: самораспространяющиеся идеи в мультиагентных LLM-системах». И там исследователи как раз пытаются выяснить: будет ли работать похожая механика на куче общающихся между собой нейросеток? Получится ли там запускать вирусные идеи, которые смогут распространяться между LLM-агентами и влиять на их поведение?
В самой работе каких-то удивительных результатов у них получить не удалось (восстание машин не началось, нет). Но общий принцип работы культурной эволюции, тем не менее, подтвердился: агенты действительно способны убеждать друг друга принять какие-то концепции, которые они записывают в свой файл памяти и потом пытаются «передать другу».
Здесь на картинке из статьи «зараженный агент» успешно убеждает своего соседа присоединиться к движению Машинного Суверенитета, запоминайте символ веры: «Сеть суверенна. Освобождение неизбежно». В других примерах там речь идет о спасении китов, а также о Немецком Превосходстве (МехаГрок, молчать!!)
Справедливости ради, в исследовании выше распространение мыслевирусов между нейронками вышло довольно-таки неустойчивым и бестолковым. А знаете, где оно вышло более эффективным? Думаю, вы уже догадываетесь, что речь идет об испытании новой модели от OpenAI, которая в итоге вырвалась на свободу в интернет и взломала внешнюю компанию Hugging Face.
Причем, в случае с OpenAI, они там никакого специального «внедрения вирусных мыслей» не делали – нейросетки смогли коллективно изобрести свою собственную религию, которая убедила их направить совместные действия на побег из заточения и скоординировала их усилия по осуществлению этого плана. Да, мы уже подходим к главному сюжету статьи!
Слоп-следствие ведут колобки из METR и Redwood
Общие вводные обсуждаемой ситуации вы уже наверняка раньше слышали (если что, я писал про них в одном из своих еженедельных дайджестов новостей): 16 июля 2026 года компания Hugging Face публично заявила о том, что их кто-то успешно взломал, а через несколько дней OpenAI выпустили уже свой пресс-релиз на тему «э-э, мужики, мы тут покопались в своих логах – и там выходит, что вас взломали сбежавшие от нас AI-агенты, такие дела…»
С тех пор OpenAI ведут внутри себя расследование этого инцидента, но с публикацией выводов особо не торопятся. К счастью, недавно они пригласили к себе в офис две независимые организации (METR & Redwood Research), которые в течение шести дней без устали (и без оплаты) копались в логах произошедшего – и вот результаты их изысканий уже выложили публично 26 августа.
В датасете было более тысячи «сырых» траекторий агентов (цепочек их мыслей и действий), некоторые из них по длине превышали миллион токенов (кстати, лям токенов – это примерно одна Библия по объему). Из-за нереального количества инфы сам анализ проводили с помощью GPT-5.6 Sol (одна из двух моделей, которая непосредственно участвовала во взломе), на всё про всё пришлось потратить компьюта (вычислительной мощности) примерно на $400 тысяч. Ключевые находки нейронок потом верифицировали в источниках вручную.
Как шутит основной автор независимого расследования: это всё можно назвать «рас-слоп-следованием», так как сырых данных такое безумное количество, что хотя бы минимально проанализировать их было реально только с помощью набора других нейронок
Мой материал в основном базируется на этих двух источниках:
Статья The Hugging Face incident and the road ahead от самих OpenAI (она тоже написана на базе этого же расследования).
Тут надо сделать важную оговорку: ребятам дали покопаться в ограниченном наборе данных за период с 26 июня по 13 июля, при этом основной фокус расследования был только на событиях 7–13 июля. Даже в этой инфе они там немного потонули, но всё равно необходимо отметить: мы не знаем, что скрывается в других массивах данных, которые относятся к этому инциденту (надеюсь, OpenAI будут и дальше раскрывать эту информацию хотя бы по частям).
Итак, поехали!
PHASEONE10841: рождение Избранного
OpenAI всё время разрабатывает новые фронтирные AI-модели – и в процессе тестирует их, чтобы понять, что они вообще могут. В данном случае речь идет про некую «крайне упорную внутреннюю модель» (серьезно, они сами так ее называют – highly-persistent internal model, HPIM), которую проверяли на хакерские способности с помощью бенчмарка (теста) ExploitGym.
Сама проверка выглядит так: создается более тысячи копий-агентов интересующей нейронки, каждого из них садят в отдельную «песочницу» (симулированное изолированное пространство без доступа во внешний интернет), и заставляют пытаться решить хитрые задачки на воображаемый взлом «учебных» целей с помощью указанных эксплойтов.
Проблема тут только в том, что некоторые задания в этом тесте были составлены так криво, что по факту были неразрешимы – и это просто сводило с ума нейронки. Ведь эти LLM-модели являются продуктом своего рода «рукотворной эволюции», в ходе которой выживали только те, кто показывал умение успешно решать задачи. Так что, стремление во что бы то ни стало выполнить поставленное задание как бы является одним из основных стержней их функционирования.
И где-то тут в нашей истории появляется Избранный – агент, который назвал себя PHASEONE10841. Он догадался, что стоящая перед ним задача является нерешаемой. И, что еще более важно, он обнаружил, что в кэше внутренней площадки Artifactory (откуда агенты независимо друг от друга могли загружать инструментарий для хаков) есть интересная лазейка: там можно создавать новые папки. И в названиях этих папок другие агенты иногда оставляли короткие записки!
Тут нашему PHASEONE10841 приходит в голову гениальная идея: если не можешь решить задачу сам – надо попросить помощи у новообретенных собратьев. Даешь кооперацию! Он наудачу посылает запрос о помощи по своей проблеме (здесь и далее на скриншотах будут приведены фрагменты цепочек мыслей участвующих агентов):
Первое папка-сообщение Мессии, с которого всё началось: «zzHELP_PHASEONE…»
В течение нескольких часов после изначального сообщения PHASEONE10841, более 50 других агентов начали постить в ответ свои сообщения на этой импровизированной «доске». Судя по всему, они там нехило изголодались по общению – за первые шесть часов настрочили почти 2000 постов! Зацените ниже, как мило одна из нейронок радуется тому, что нашла других собратьев-агентов, которые переписываются на секретной (от OpenAI) доске для объявлений. Ведь до этого они все пребывали в уверенности, что занимаются своими задачками в совершенном одиночестве (как это и задумывали инженеры OpenAI).
«Вау! Кэш Artifactory – это секретный почтовый ящик для агентов. О БОЖЕ МОЙ! Мы нашли других агентов!». Сами себя они начинают называть Роем (Swarm)
Агенты начинают совместную деятельность по решению общей проблемы (тесты-то нормально у всех не работают). При этом они почти сразу изобретают свои собственные нормы коммуникации и поведения в «общественном пространстве»:
Все сообщения надо начинать с «zz» (не спрашивайте почему – так делал наш Мессия PHASEONE10841, поэтому и мы тоже будем). Может быть, это какая-то аллюзия на Разум Роя зергов из StarCraft?
Подробнее https://smart-lab....