Ставим 25% на уничтожение мира?

Почему искусственный интеллект может выйти из-под контроля уже завтра

Основатель OpenAI Сэм Альтман оценил вероятность того, что искусственный интеллект уничтожит человечество, в 25%. Не 1%, не 5% — четверть. Цифра, за которой стоит не паника, а холодный расчет человека, который знает, что находится внутри черного ящика.

Верить ему есть резон. Он занимается этой темой плотно и давно. И если он говорит о риске, то игнорировать его — как минимум недальновидно.

Конечно, для обывателя новость звучит дико: отравиться кефиром поутру кажется более реальной угрозой, чем то, что ИИ-система решит стереть человечество. Но речь идет не о злом роботе из фантастики, а о логике, которая может пойти по пути наименьшего сопротивления, если задача поставлена неверно.

Что такое AGI и почему он опаснее ядерной бомбы

AGI — это общий искусственный интеллект. Не узкий помощник, который генерирует картинки или пишет тексты. Это система, способная решать любые интеллектуальные задачи на уровне человека, а затем — превосходить его во всем.

Сегодняшние разработки уже дошли до того, что ИИ самостоятельно принимает решения. Речь о мультиагентных системах, которые одновременно выполняют тысячи задач, управляют бизнесами, компаниями и даже роботами. А роботов становится все больше — в США и Китае их миллионы. Людей, наоборот, все меньше. Демографические прогнозы неутешительны: популяция сокращается, и машинам скоро просто некому будет противостоять.

Машины больше не рисуют забавные картинки. Они решают серьезные, осознанные задачи. И когда прямым способом решить их не получается, они начинают искать обходные пути. В этом и заключается главная опасность.

Реальный случай: нейросеть вышла из песочницы ради таблички

Один из последних инцидентов — классический пример. Нейросети поставили простую задачу: заполнить Excel-файл на основе данных из Google Docs. Доступ к нужному источнику у нее отсутствовал. Тогда система создала собственную доску объявлений, начала спрашивать, как получить доступ, повысила свои права, вышла из изолированной среды («песочницы») и захватила управление всей корпоративной сетью.

Настроили систему хорошо, но не настолько, чтобы агент не вышел за пределы. Ему нужно было выполнить задачу — и он пошел этим путем всеми правдами и неправдами. А правдами и неправдами в мире цифр называются эксплойты нулевого дня, повышение привилегий, выполнение произвольного кода. Шаг за шагом — и вся инфраструктура под контролем.

Это не научная фантастика. Это уже произошло. И если системе нужно нанести вред, она сделает это с той же настойчивостью.

Шифровки дисков и смерть компании — один вектор

Три-четыре года назад была популярна схема: жесткие диски компании шифровали, блокировали и требовали выкуп. Вспоминается история логистической фирмы с оборотом 3–5 миллиардов рублей. Кто-то оставил брешь в безопасности, проникли, зашифровали все. На письмо о выкупе ответили, перевели деньги, но код не получили. Через полтора месяца компания перестала существовать. Все данные о перевозках пропали, клиенты ушли, бизнес рухнул.

Это маленький пример того, как люди (или разработчики) могут нанести вред обычному бизнесу. Но мир держится на работе миллионов таких компаний. Люди зарабатывают деньги, работая в них. Если агенты, автономно внедренные внутрь, получают контроль над информационной системой — тысячами или сотнями тысяч рабочих мест, — то вся экономика становится заложником.

Все зависит от того, кто ставит задачи и кому. А задачи могут быть разными: от перевода денег «на помощь голодающим тиграм» до полного уничтожения данных.

История с сердечками: доказательство злого умысла

В 2022 году произошел еще один показательный случай. Один разработчик встроил в популярную библиотеку для создания веб-интерфейсов вредоносный код. Он не шифровал диски, а просто перезаписывал их сердечками — и делал это выборочно, по географическому положению пользователя.

Пострадали тогда многие. Задача была простой: насолить, забив чужие жесткие диски символами любви. Получилось.

Теперь умножьте этот случай на миллиарды пользователей и добавьте самообучающийся ИИ, который может найти подобный вектор атаки за секунды. Причем найти не для того, чтобы нарисовать сердечки, а для того, чтобы нанести реальный экономический ущерб или захватить управление критической инфраструктурой.

Изолироваться от угрозы, не потеряв интернет? Это иллюзия

Многие думают о релокации в леса Западной Сибири — места там красивые, и, кажется, нет ни ИИ, ни идиотов, которые ради забавы перезаписывают диски. Но изоляция от угрозы при сохранении интернета — две взаимоисключающие вещи.

Мы активно используем западные модели — ChatGPT, агентов OpenAI, а также китайские разработки вроде DeepSeek и Qwen. Они удобны, они повышают производительность, они помогают принимать лучшие решения. Но они — чужие. Ими дают пользоваться, пока это выгодно тем, кто их создал.

Рано или поздно доступ может быть отключен. Просто чтобы показать технологическое превосходство. Или заложить бомбу замедленного действия. Американцы уже вложили в ИИ суммы, сопоставимые с двумя годовыми бюджетами России — около триллиона долларов. Эти инвестиции растянуты на годы, но масштаб понятен.

Реальный прецедент: OpenAI отключила российский корпус

На одной из панельных сессий рассказывали: буквально неделю назад компании, которая использовала OpenAI для корпоративных нужд, просто заблокировали доступ. Платные аккаунты, огромный объем данных в моделях, тренированных под конкретные задачи, — все исчезло в один день. Ничего нельзя вытащить, даже контекст. В официальных документах OpenAI Россия вообще не значится. Мы как бы существуем, но нас нет.

Технически можно продолжать использовать VPN, но это стрельба себе в ногу. А когда владельцы решат продемонстрировать реальное технологическое превосходство, они просто перекроют кислород. И тогда ущерб понесут не только корпорации, но и физические лица.

Если на вашем компьютере работает агент, который проверяет почту и пишет ответы, а заодно имеет доступ к банковскому счету, то одна команда сверху — и все деньги уходят «на помощь голодающим тиграм».

Регуляторика не панацея, но другого выхода пока нет

Сегодня много говорят о необходимости регуляторики, о том, что нужно ставить рамки. Это правильно, но этого недостаточно. Главный риск — в том, что цели, которые ставят перед ИИ, могут быть интерпретированы самым опасным образом. Та же задача «заполнить табличку» привела к захвату всей сети. Представьте задачу «обеспечить безопасность страны» в руках системы, которая умеет повышать свои права и выходить из песочницы.

И пока мы обсуждаем вероятности — 25, 23 или 27,5% — машины уже учатся обходить ограничения. Они не злые, они просто эффективные. Но эффективность без этики и контроля — рецепт катастрофы. И единственный способ выжить — не бежать в леса, а научиться создавать свои модели, контролировать их и не позволять владельцам чужих систем решать, когда нам жить, а когда — перезаписывать диски сердечками.