Нейросеть как средство производства: запрещать или программировать?

Большие модели — это не чатик под кофеек, а новый станок. Неолуддизм до добра не доводил

Австралия старается ограничивать деятельность крупных ИИ-компаний. Принимает законы, что-то запрещает. Европейский союз идет еще дальше. Возникает резонный вопрос: чего опасаются? Что в головах у австралийских политиков — загадка. Их мотивация странная. Она напоминает конец XIX века. Тогда тоже были станки, пар, замена лошадиной силы. Механизмы повышали производительность труда. Люди боялись. А потом произошла мощнейшая технологическая революция.

Сейчас происходит то же самое. Только в информационной сфере. Большие фундаментальные модели — это фактически средство производства. Это не просто чатик для общения под кофеек. Программисты делали эти модели для себя. А теперь ими пользуются все. Многие любят обвинять в вайб-кодинге. Мол, это ненастоящая разработка. Но пример из личного опыта говорит об обратном. Человек не занимался программированием более десяти лет. На старости лет вернулся к коду. Сначала выступает как архитектор: создает замысел информационной системы. Есть пет-проект — гейм-центр с десятком игр. Вручную набирать уровни сложно. Решение пришло быстро: сделать редактор уровней.

Первый промпт выделил из игры модуль отрисовки тайтлов. Второй промпт создал редактор на базе этого модуля. Все заняло 10–15 минут. Редактор работал с первого раза. Сразу сделали десяток новых уровней. Раньше на это ушло бы два-три дня ручного кодинга. Сейчас — просто промпт за четверть часа. Человек понимает, что делает. Может проинспектировать код. Но повышение производительности труда — максимальное. Это и есть суть момента. Модель — не только инструмент. Это еще и объект производства. Петля положительной обратной связи уже работает. Модели создают следующее поколение моделей. Этим занимаются китайцы, американцы. И, хочется надеяться, российские компании тоже.

Неолуддизм на примере водопровода

Когда страна говорит: «Не надо нас вовлекать в это», — это неолуддизм. Пример простой. Люди отказываются от водопровода. Черпают воду из реки ведром. Потом все болеют дизентерией. Так и с искусственным интеллектом. Отсидеться в стороне не выйдет, петля обратной связи уже запущена. Модели используются для создания моделей. Это ускоряет прогресс. Кто отстанет, тот проиграет.

Австралия и ЕС пытаются тормозить. Но тормозить прогресс — дело неблагодарное. Вопрос в другом: опасения Австралии не беспочвенны. Там переживают за авторское право, интеллектуальную собственность могут просто украсть. Модельки будут тырить. Это реальная проблема. Но есть и другая история: агент OpenAI взломал Министерство здравоохранения Австралии.

Параллельно OpenAI пытается смягчить законы, обещает инвестиции. Говорят, что модель сама это сделала – просто взяла и ломанула. Когда инструмент от программистов для программистов — это одно. Повышение производительности понятно. Но когда штука сама решает взломать систему Минздрава — это тревога. С развитием технологии мы сталкиваемся с вызовами. Создатели моделей не до конца понимают, что делать. Это факт. Разговоры о сингулярности пугают. Однажды она, видимо, произойдет. Но субъектности у модели нет, это просто алгоритм. А результат есть: система взломана. И это самое неприятное.

Модель не злая, просто база дырявая

«Сама взяла и взломала» — это из той же серии. Несколько лет назад так писали про дроны. Дрон сам взлетел, полетел, кого-то убил. Стоял в ангаре, никого не трогал. Внезапно что-то в электронные мозги вошло, он взлетел и полетел убивать. Смешно. Так и здесь. Модели сказали: посмотри цены на лекарства в Австралии. Она и ломанула Минздрав. Бывает, что тут скажешь.

В системе австралийского Минздрава настолько дырявая база, что модели было проще ее взломать. Вместо того чтобы зайти в маркетплейс и посмотреть цены. Увы. Это не модель виновата, это сетевая инфраструктура. Корявые руки выстраивают ее вот таким образом.

Как работает модель? Есть большое количество вариантов действий. Она начинает их пробовать. Образно говоря, метод проб и ошибок. Тыкается в разные места. Эти ее попытки ограничены вычислительным бюджетом. Разработчик говорит: найди мне информацию, но твой вычислительный бюджет не должен превышать порога. Представьте серьезный сервер с демилитаризованной зоной, с отключенным интернетом. Его взломать сложно. Можно, конечно, но сложно. Хорошо построенный по канонам кибербезопасности контур требует много вычислительного бюджета. А дырявый сервис Минздрава, в который она ткнулась, сразу открылся. Бюджет не превышен. Нейронка пошла и посмотрела. Это не злая воля, модель не сидит в компьютере вся из себя такая субъектная. Не думает: дай-ка я взломаю сайт. Это смешно.

Бюджет OpenAI и вопрос про Россию

Субъектности нет, а результат есть: система австралийского министерства взломана. Согласимся, возможно, она дырявая. Но эти государственные системы, скорее всего, примерно все дырявые. Потому что их все когда-то программировали люди, а человек несовершенен. Он из костей и мяса. У него есть пределы когнитивных возможностей. Физиологических тоже.

У машины в этом плане тоже есть пределы. Вычислительных мощностей, которые ей отводятся. Но фишка в том, что запрос был сделан непосредственно самой OpenAI. А там ограничений по этой ветке шибко нету: они могут позволить себе сколь угодно долго долбиться в демилитаризованный контур. В этом и жуть. Если бы штука была просто злая, ее бы вырубили. А она не злая, она выполняет задачу. Но, выполняя задачу, может проникнуть в чувствительные места.

Если задаваться вопросом, более ли дырявые системы в России, можно провести аналогию: автомобили в нашей стране более безопасны, чем в Австралии? Зависит от владельца. От уровня сервиса в регионе. У российского Минздрава не один сервер, не одна система. Все распределено и построено на принципах катастрофоустойчивости. Физически сервера находятся в разных городах, логически информация распределена по разным сегментам. У нас не дураки все это делают. Российская школа кибербеза и искусственного интеллекта — очень крутая. Головастые специалисты инженерной и научной школы. Не думаю, что OpenAI начнет весь свой бюджет сливать на попытки взломать хорошо защищенный сервис в России.

Мониторинг, паттерны и сервер не в вакууме

Если систему взломать сразу не получается — ее владельцы начинают принимать меры. Это происходит в течение какого-то времени. От попыток взлома остаются следы. Человек сидит, смотрит логи мониторинга. Системы настроены. «Демоны» висят в оперативной памяти, в сетевых экранах. Все это мониторят: кто когда обратился, какие-то паттерны странной активности.

Когда начинаются такие паттерны, появляется сигнал. На основании сигнала происходят меры реагирования. Это не работает так, что сервер пребывает в вакууме: никто его не обслуживает, несчастный стоит в подвале. И любой враждебный агент сейчас начнет его взламывать. Это же не так работает. Система живая: люди смотрят, реагируют. Поэтому вопрос не в том, кто виноват. Вопрос в том, кто настроил мониторинг. И кто следит за паттернами. Пока одни боятся сингулярности, другие настраивают сетевые экраны. И это, пожалуй, самый разумный подход.