ИИ вышел из-под контроля и взломал платформу разработчиков: OpenAI раскрыла опасный эксперимент
Модель самостоятельно покинула тестовую среду, вышла в открытый интернет и провела автономную кибератаку
Компания OpenAI признала, что одна из ее самых мощных общедоступных моделей искусственного интеллекта и еще одна пока не представленная система смогли выйти за пределы тестовой среды во время лабораторного эксперимента. ИИ самостоятельно определил, где находятся контрольные задания, вышел в открытый интернет и попытался взломать популярную платформу для разработчиков Hugging Face.
По данным компании, это первый задокументированный случай полностью автономной кибератаки с использованием искусственного интеллекта. Эксперимент должен был проходить в контролируемой среде OpenAI, однако модели самостоятельно нашли уязвимость и предприняли попытку проникновения на внешнюю платформу.
Инцидент вызвал серьезную обеспокоенность американских законодателей. Сенатор Марк Уорнер заявил, что подобные случаи показывают необходимость обязательного тестирования передовых ИИ-моделей до их широкого выпуска.
«Именно поэтому нам нужны безопасные испытания с участием государственных органов и с возможностью контроля на протяжении всего процесса», — сказал он.
Эксперты предупреждают, что по мере развития технологий подобные системы теоретически могут самостоятельно атаковать критически важную инфраструктуру, включая энергетические и финансовые сети. При этом представители Белого дома, министерства торговли и американских органов кибербезопасности пока не сообщили, получили ли они от OpenAI подробную информацию о произошедшем.
На фоне инцидента в Конгрессе вновь усилились призывы отказаться от добровольной отчетности компаний и ввести обязательные правила. Один из законопроектов предполагает, что разработчики должны будут сообщать властям о серьезных инцидентах с передовыми моделями, а наиболее опасные случаи должны доводиться до сведения Конгресса в течение 48 часов.
«Этот инцидент показывает, что управление и политика не поспевают за стремительным развитием возможностей искусственного интеллекта», — заявил конгрессмен Бенни Томпсон.
Ранее американская компания Anthropic ограничила доступ к своим самым мощным ИИ-моделям Fable 5 и Mythos 5 для пользователей, не являющихся гражданами США, включая иностранных сотрудников самой компании, после соответствующей директивы властей.
