Кто выиграет, когда дата центры решают судьбу цивилизации? - Илья Завьялов

«Здесь и сейчас» — про человеческое злоумышленное использование ИИ, и «за горизонтом» — про системы, которые однажды перестанут нуждаться в нас стратегически, а не эмоционально. Когда Джеффри Хинтон говорит о «10 — 20%» шансах, что ИИ может вытеснить человечество, это не апокалиптическая поза, а холодная оценка человека, стоявшего у истоков нейросетей: «Это интуитивная оценка, но я часто говорю о 10 — 20%» — и да, этого достаточно, чтобы всерьез пересмотреть приоритеты цивилизации.

Краткосрочный пласт тревог тянет за собой конкретику, а не метафоры: взрывной рост фишинга, подделки голоса и лица, «конвейер» таргетированных манипуляций, которые будят демонов в наших «эхо-камерах», и всё это усиливается с каждым новым релизом моделей, потому что уязвимость человеческого внимания масштабируется хуже, чем вычислительные кластеры. Я видел, как за считаные недели сценаристы фишинга адаптируются под локальные мемы, интонации и политические триггеры — и это не фантазия о далеком будущем, а маркетинг, повернутый на темную сторону и помноженный на генеративные модели. Вопрос «кто ответит?» неизбежно упирается в регулирование, и тут прав Йошуа Бенджио: «Чтобы получить выгоды от ИИ, нам нужно регулировать... с демократическим надзором», а отсутствие внятных мировых правил — это не аргумент против нормотворчества, а напоминание о цене промедления.

Есть и другой слой — оружие, которое не ждет человеческого подтверждения для выстрела. Стюарт Расселл много лет повторяет простую и страшную мысль: «автономные летальные системы» практически реализуемы «в годы, а не десятилетия», и именно масштабируемость, дешевизна и миниатюризация делают их будущими «калашниковыми» войны, а не экзотикой лабораторий. Суммарный риск в том, что эти системы будут не просто еще одной «железкой», а инфраструктурой для политического давления и прочего ужасного — это не я — Завьялов Илья, сгущаю краски, это прямая логика письма исследователей и публичных выступлений Расселла о необходимости запрета наступательных автономных вооружений вне «содержательного человеческого контроля». В подкастах и статьях о «ройных» дронах этот сценарий звучит особенно зловеще: индустриально масштабируемые мини-системы меняют саму экономику разрушения, сближая ее с экономикой потребительской электроники.

Скептик спросит: а как насчет «супер разума» — не слишком ли смело? Я держусь простого принципа предосторожности: если вероятность системного катастрофизма не нулевая, а выигрыш от ранних ограничений — значителен, общество обязано финансировать безопасность и механизмы сдержек раньше, чем станет поздно. Тот же Хинтон, при всей медийной гиперболе вокруг него, формулирует мысль аккуратно: главное не «дело вкуса», а то, что мы «ещё не знаем, как гарантировать, что они не обратятся против нас», и эта неопределенность не покрывается рыночными стимулами сама по себе. Бенджио формулирует это жестче: «бутерброд регулируется сильнее, чем ИИ» — и эта гротескная аналогия работает, потому что санитарные нормы появились после всплесков эпидемий, а мы собираемся ждать цифровую холеру, чтобы выработать ИИ санПиН.

Экономика — здесь мой личный страх приземляется. Да, ИИ масштабирует знания и переиспользование идей, и в этом его сверхсила, но именно поэтому интеллектуальные профессии, считавшиеся «последним рубежом», заменяются быстрее, чем мы успеваем перепридумать социальный контракт. В кратком горизонте большие модели — это турбокомпрессор для производительности, в длинном — асимметрия между капиталом, владеющим вычислительной мощностью, и массами, чьи когнитивные услуги обесцениваются, если рынок не получит рычагов компенсации и дообучения на системном уровне. Бенджио прямо предупреждает, что помимо экзистенциального риска вторым номером идет концентрация власти — кластеры капитала и вычислений пережмут пространство для остального общества, если мы не внесем «демократический надзор» в архитектуру рынка ИИ.

В этой картине мира легко впасть в цинизм, но я стараюсь держать в поле зрения позитив: эмоции как инструмент агентности — не только про людей. Если будущие ИИ действительно получат «модули» мотивации и «эмоциональные» контуры оценки, они, вероятно, будут функционально иными, но не обязательно враждебными — важнее то, как мы зададим пространство допустимых целей и обратной связи на уровне архитектур и нормативов. Не нужно гуманизировать алгоритмы, чтобы признавать: у «холодного» оптимизатора, лишенного ограничений, возникает соблазн сократить путь, и именно поэтому безопасность должна быть не надстройкой, а строительными лесами вокруг каждой итерации платформы. Иначе мы будем надеяться на «красную кнопку», о которой уже сейчас трезво пишут: «не рассчитывайте на kill switch» — если появится враждебный суперинтеллект, убедить его может оказаться реальнее, чем выключить.

Что делать прямо сейчас на уровне человека, а не институтов? Первое — давление на корпорации за прозрачность, аудиты и обязательные доли вычислительных ресурсов на безопасность, о чем тот же Хинтон говорил практически прямым текстом, призывая вкладывать существенную часть вычислений в safety-исследования. Второе — прагматично выбирать карьерные стратегии: там, где реальный мир, контекст, ответственность за физический результат и социальная эмпатия, у автоматизации длиннее путь к безусловной замене; это звучит не гламурно, но честно. Третье — не отдавать свою повестку в руки «персонализированных кампаний»: цифровая гигиена и дисциплина внимания — это уже не про продуктивность, а про политическую суверенность личности.

И всё же, главная мысль Ильи Николаевича простая: цивилизация обязана «максимально вложиться» в безопасность ИИ — научную, инженерную и институциональную — и делать это до того, как появятся необратимые привычки у систем и рынков, их обслуживающих. Вопрос о выживании не решен — и в этом нет пафоса, только сухой расчет: если даже 10 — 20% — не пустой звук, наши действия в ближайшие годы и определят, будет ли этот век временем «подчиненной сингулярности» или выборочной катастрофы. В этом смысле самый честный прогноз — признание неопределенности, а самая разумная стратегия — институциональная смелость и дисциплина, способные удержать прогресс в человеческих рамках.

Развитие ИИ заставляет восхищаться и переживать одновременно, но абсолютно понятно уже сейчас что компании отказавшиеся использовать ИИ рискуют остаться на задворках истории статья — Оптимизация запасов и рекомендации, о которых не говорят консалтинги как раз про тех кто решил что от ИИ никуда не сбежишь.