редакции
Беличенко Виктория
«Яндекс» предложил концепцию тестов для ИИ на соответствие духовно-нравственным ценностям
Как сообщает «Коммерсантъ» со ссылкой на источники, презентация состоялась 13 августа на совещании рабочей группы по регулированию и административным барьерам в сфере ИИ.
Разработка представляет собой бенчмарк — стандартизированный набор контрольных заданий с эталонными ответами, который позволяет сравнивать качество разных моделей по единым критериям. В отличие от простых тестов, современные бенчмарки проверяют способность модели решать реальные рабочие задачи, например выгружать данные из базы или собирать отчёты.
На совещании возникли разногласия по поводу степени публичности датасета. По информации источников, ФСБ настаивает на закрытом формате, чтобы разработчики не могли заранее настроить модели для успешного прохождения тестирования. Представители бизнеса, в свою очередь, заявили, что закрытый формат может оказаться излишне сложным и замедлит развитие моделей, предложив оставить его открытым.
В качестве компромисса был предложен комбинированный формат: открытый бенчмарк для публичного тестирования и прозрачности, а закрытый — для финальной проверки с идентичными тематиками, но разными формулировками вопросов. Такой подход, по мнению участников совещания, должен помочь разработчикам проводить предварительную проверку моделей и обеспечить достоверность итоговой оценки.
Остаётся открытым вопрос о том, кто будет определять содержание бенчмарка. ИТ-сообщество предлагает создать совместную комиссию с участием органов власти, бизнеса и экспертных организаций, чтобы обеспечить сбалансированность тестов.
В аппарате вице-премьера Дмитрия Григоренко сообщили, что все предложения проходят обсуждение с отраслью и заинтересованными ведомствами, и говорить о конкретных решениях преждевременно.
В Минцифры добавили, что подзаконные акты к закону об ИИ ещё обсуждаются с бизнесом, а ключевая задача: соблюсти интересы отрасли и пользователей, обеспечив соответствие технологий требованиям законодательства. В «Яндексе» и Альянсе ИИ комментариев не дали.
Выработка таких тестов и бенчмарков — необходимая и справедливая мера в рамках ИИ-регулирования. Однако важно помнить две вещи.
Во-первых, ценности страны-разработчика должны быть заложены в ИИ на уровне рассуждений, а не в виде «заглушки». Сейчас у многих ИИ-моделей идеологические настройки работают так: если задать нейросети каверзный вопрос, она сначала сформирует ответ из своего датасета — а затем передаст механизму цензуры, который его заблокирует и выдаст плашку «Простите, я не могу такое обсуждать». Это дешевый, но не конструктивный подход.
Гораздо правильнее — разработать отдельный датасет, на базе которого LLM сможет аргументированно отражать официальную позицию государства, спорить с каверзными вопросами, ссылаться на достоверные источники и расширять кругозор пользователя вместо автоблокировки.
Это, конечно, не спасет от т. н. «джейлбрейкеров» (тех, кто специально подбирает такие промпты, чтобы обойти ограничения), но их среди пользователей — сотые доли процента.
Во-вторых, за ответы нейронок по политическим вопросам ведется постоянная борьба, в которой участвуют власти многих стран. Например, вспомните как в середине 2025 года отечественные киберактивисты «переучили» западные чат-боты на пророссийские идеологические позиции: тогда руководству ИТ-корпораций пришлось вручную перепрошивать нейросети. Другой пример — свежий скандал со встроенной в «Макс» «Алисой», которая рекомендовала некоторым пользователям удалить мессенджер, и т.д.
Поэтому мало будет собрать датасет с контрольными вопросами: над ними придется вести постоянную работу и вручную обновлять аргументацию по контрольным темам. Отлично, что работа по составлению таких тестов идет в диалоге между отраслью и государством — но важно не фиксировать формулировки раз и навсегда, а обновлять их и добавлять новый контекст по мере эволюции моделей,