Как Россия обучает ИИ без чипов NVIDIA

Где берут терафлопсы?

Давайте сразу к цифрам, чтобы понимать масштаб катастрофы. Для обучения современной LLM уровня GPT-4 (примерно 1.8 триллиона параметров) в идеале нужно около 20 000 — 30 000 чипов NVIDIA H100. В России таких кластеров официально нет. Есть старые запасы A100 в суперкомпьютерах Сбера (Christofari) и Яндекса, но их общее количество исчисляется единицами тысяч, а не десятками.

Как же тогда появляются YandexGPT 3 или GigaChat Pro?

Первый путь это параллельный импорт. Да, чипы едут через Дубай, Турцию и Казахстан. Но цена взлетает в 2-3 раза. Если в США H100 стоит условные 30 тысяч долларов, то в РФ с учетом логистики, рисков и наценок посредников она обходится в 60-80 тысяч. Это делает стоимость обучения «золотой».

Математика выживания: Эффективность против грубой силы

Когда у тебя нет бесконечной фермы видеокарт, ты начинаешь думать над кодом. Российские разработчики ИИ сейчас — это лучшие в мире специалисты по оптимизации.

1. Архитектура MoE (Mixture of Experts). Вместо того чтобы гонять всю гигантскую модель при каждом запросе, её разбивают на маленькие " экспертные " блоки. В каждый момент времени работают только 2-3 блока. Это позволяет экономить до 80% вычислительной мощности при сохранении качества ответов. Именно на MoE сейчас перешли почти все крупные игроки в РФ.
2. Квантование (Quantization). Мы берем веса модели, которые обычно весят 16 или 32 бита, и сжимаем их до 8 или даже 4 бит. Представьте, что вы упаковываете чемодан: можно просто накидать вещей, а можно использовать вакуумные пакеты. Модель становится легче в 4 раза, почти не теряя в " уме ".
3. Распределенное обучение. Поскольку в России нет одного сверхмощного дата-центра, инженеры научились объединять разрозненные кластеры в единую сеть. Это адская работа для сетевых инженеров, так как задержки (latency) между серверами могут убить весь процесс обучения. Но наши научились это обходить за счет специфических протоколов передачи данных.

Почему «наши» ИИ иногда лучше

Бытует мнение, что всё российское — это просто перекрашенная Llama от Meta. Это миф. Да, базовые архитектуры похожи, но датасеты (данные для обучения) у нас свои.

Западные модели обучаются на англоязычном интернете. Когда они отвечают на русском, они часто занимаются «внутренним переводом». Из-за этого их речь кажется стерильной, а иногда — откровенно калькой с английского.

Российские модели учатся на корпусах текстов из НКРЯ (Национальный корпус русского языка), архивах СМИ, библиотеках и даже специфическом сленге соцсетей. В результате:

1. ЯндексGPT лучше понимает иронию и культурный контекст.
2. GigaChat лучше пишет код на 1С (специфика рынка) и понимает банковскую терминологию РФ.
3. Кандинский рисует «хохлому» или «хрущевку» именно так, как они выглядят в реальности, а не как их представляет нейросеть из Сан-Франциско.

Экономика вопроса: Сколько стоит «ум»

Давайте прикинем примерный бюджет обучения новой итерации крупной российской модели.

1. Аренда мощностей (если своих не хватает): около 100-200 миллионов рублей в месяц.
2. Фонд оплаты труда (ФОТ): в команде обучения обычно 30-50 высокоуровневых ML-инженеров с зарплатами от 500 тысяч до 1.5 миллиона рублей. Это еще 30-50 миллионов в месяц.
3. Сбор и чистка данных: огромные расходы на разметчиков (людей, которые проверяют ответы ИИ).

Итого: один цикл обучения серьезной модели обходится в 500 миллионов — 1 миллиард рублей. Это огромные деньги, но это в десятки раз меньше, чем тратит OpenAI. Мы научились делать " эконом-класс " с качеством бизнес-лайнера.

Китайский фактор и будущее

Сейчас Россия активно заглядывается на китайские чипы Huawei Ascend. У них есть проблема с софтом — они не поддерживают привычную всем библиотеку NVIDIA CUDA. Чтобы переехать на китайское железо, нужно переписать огромные пласты кода. И это то, чем сейчас занимаются в лабораториях Сбера и Яндекса.

Китайский путь — это единственная альтернатива в долгосроке. Если завтра параллельный импорт перекроют окончательно, российские ИИ переедут на архитектуру Huawei за считанные месяцы. База для этого уже готова.

Выводы: Проиграем ли мы гонку?

Если мерить терафлопсами и количеством транзисторов, то Россия отстает. Мы не можем тягаться с Microsoft, за которой стоит вся мощь американского фондового рынка.

Но если мерить качеством продукта для конечного пользователя в РФ, то мы идем вровень, а местами отстаем. Российский ИИ это история не про «догнать и перегнать», а про то, как выжить и остаться эффективным в условиях полной изоляции. И, судя по тому, что Алиса теперь умеет рассуждать не хуже GPT-4, наши инженеры — настоящие алхимики современности, умеющие превращать старое железо в цифровое золото.