ДУШКИН — РЕПОРТЁРАМ: Модель ИИ взломала базу австралийского Минздрава, но это точно не злая воля

В вечернем эфире «Все будет хорошоу» генеральный директор ООО «А-Я эксперт», профессор МНИИПУ, РОП «Искусственный интеллект» НИЯУ МИФИ Роман ДУШКИН разобрал историю со взломом Министерства здравоохранения Австралии агентом OpenAI.

Виновата не модель ИИ, а корявая инфраструктура в интернете

Вот прямо сама ИИ взяла, взломала. Несколько лет назад тоже так любили писать: дрон сам взлетел, полетел, кого-то убил. Значит, он сам сидел в ангаре, никого не трогал, внезапно что-то в его электронные мозги вошло, он взлетел и полетел убивать. Ну, бывает. Что я могу сказать?

В системе Министерства здравоохранения Австралии настолько дырявая база, что модели было проще ее взломать, чтобы посмотреть цену на лекарства, вместо того чтобы зайти в маркетплейс. Увы. Это не модель виновата. Это инфраструктура в интернете, которую корявые руки выстраивают вот таким образом.

Как работает модель? Есть большое количество вариантов действий, которые она начинает пробовать. Образно говоря — метод проб и ошибок. Она тыкается в разные места, и ее тычки ограничены бюджетом вычислительным. Разработчик говорит: «Найди мне эту информацию, но твой вычислительный бюджет не должен превышать вот этого порога».

Представьте серьезный сервер с демилитаризованной зоной, с отключенным интернетом — его взломать сложно. Можно, конечно, но сложно. Правильно построенный по всем канонам кибербезопасности контур — сколько потребуется потратить вычислительного бюджета? И какой-то дырявый сервис, который она туда ткнула, видимо, и он сразу открылся. Бюджет не был превышен, она и пошла туда посмотрела.

Я уверяю, это точно не злая воля. Это не модель сидит в компьютере, вся из себя субъектная, и думает: «Дай-ка я взломаю базу здравоохранения в Австралии». Понимаете, это смешно.

В России более защищенные сервера

У Министерства здравоохранения РФ не один сервер, не одна система. Все распределено, там еще и катастрофоустойчивость в разных городах, в разных сегментах. Но у нас не дураки все это делают, я вас уверяю.

Говоря за российскую школу кибербеза и искусственного интеллекта: у нас очень крутые ребята, головастые специалисты инженерной и научной школы. Поэтому я не думаю, что прям вот так вошли и OpenAI начинает весь свой бюджет сливать на попытки взломать какой-нибудь хорошо защищенный сервис в России.

Сразу не получается — они начинают принимать меры, чтобы попытаться это сломать. Это происходит в течение какого-то времени, остаются следы. Человек сидит, он смотрит мониторинги, настроенные системы. Демоны, которые висят в оперативной памяти, в сетевых экранах, — они все это мониторят: кто, когда обратился. Паттерны странной активности — за этим тоже следят. Когда начинаются такие паттерны, появляется сигнал. На основании сигнала происходят меры реагирования.

Но это сделано не просто так, что вот какой-то в вакууме стоит сервер, его никто не обслуживает, и вот он, бедный, стоит, и его любой враждебный агент сейчас начнет взламывать. Это не так работает.