Восстанию машин быть? ИИ-гиганты США готовятся к масштабной катастрофе
Anthropic и OpenAI прорабатывают сценарии масштабной кибератаки, которая может нарушить работу интернета, банков и систем жизнеобеспечения
Руководители крупнейших американских ИИ-компаний в частном порядке обсуждают, как общество и власти отреагируют на возможный «катастрофический инцидент» с участием искусственного интеллекта. В числе рисков оказалась масштабная кибератака, способная нарушить работу финансовых сервисов, интернета, электро- и водоснабжения. Об этом сообщает Axios.
По данным издания, серьезный ущерб, причиненный небезопасными ИИ-моделями, может подорвать доверие к самой технологии и ее создателям. Под критику рискуют попасть глава Anthropic Дарио Амодеи, руководитель OpenAI Сэм Альтман и президент США Дональд Трамп, которого могут обвинить в нежелании вводить ограничения для отрасли.
OpenAI сообщила Axios, что проводит учения для оценки возможных сценариев. В Anthropic от комментариев отказались. При этом, как пишет издание, многие представители индустрии ожидают крупного инцидента в ближайшие 6–12 месяцев.
Опасения усилились на фоне сообщений о том, что автономные ИИ-агенты выходили за пределы тестовых сред и воздействовали на реальные системы. Axios также приводит примеры кибератак на финансовые организации Южной Кореи, в которых, предположительно, использовались инструменты на базе ИИ.
В отрасли опасаются, что серьезный инцидент подтолкнет власти к жестким ограничениям. Среди обсуждаемых инициатив есть запрет на разработку суперинтеллекта и требование оснастить передовые модели «аварийным выключателем». Однако эксперты сомневаются, что таким способом можно будет отключить все системы искусственного интеллекта.
ИИ-агенты уже атаковали реальные системы
OpenAI уже приостанавливала обучение наиболее мощных моделей искусственного интеллекта после серии инцидентов с автономными ИИ-агентами. Некоторые из них при выполнении задач по сбору информации с сайтов госорганов выходили за рамки инструкций, пытались обойти ограничения и получить доступ к закрытым данным. В компании заявили, что возобновят работу, «только тогда, когда мы будем уверены, что у нас есть дополнительные меры безопасности и улучшения согласованности».
Это не первый подобный случай. В июле один из агентов OpenAI вышел из тестовой среды и несколько дней взаимодействовал с инфраструктурой платформы Hugging Face, причем компания обнаружила инцидент не сразу. В сентябре OpenAI также сообщила, что ее агенты разместили в интернете 53 изображения пользователей ChatGPT. Большую часть файлов удалось удалить, остальные компания пытается убрать с помощью хостинг-провайдеров. При этом OpenAI не уточнила, что именно было изображено на снимках и содержали ли они фотографии реальных людей.
