Как мы ввели AI review flow и перестали ловить фейковые источники на финальной вычитке

Мы решили вынести проверку ИИ-рисков в отдельный AI review flow до финальной вычитки.

Что входило в flow

Процесс состоял из четырех шагов:

1. Отметить фрагменты, где мог использоваться ИИ.
2. Проверить источники из этих фрагментов.
3. Сверить, подтверждает ли источник тезис.
4. Зафиксировать решение: оставить, заменить, переписать.

Важно: модель не подтверждала сама себя. Она могла помочь найти подозрительные места, но решение принимал редактор или эксперт.

Что изменилось

Фейковые или слабые источники стали всплывать до глубокой редакторской правки. Это снизило количество ситуаций, когда красивый текст приходилось разбирать из-за одной неподтвержденной опоры.

Появилась понятная маркировка:

• `candidate` — источник предложен, но не проверен;
• `verified` — источник существует и подходит;
• `weak` — источник существует, но плохо подтверждает тезис;
• `replace` — источник нужно заменить.

Так команда перестала спорить в свободной форме и начала работать с состояниями.

Где были ограничения

AI review flow не решает проблему слабой методологии. Он ловит риски вокруг источников и формулировок, но не заменяет экспертный разбор темы.

Еще одно ограничение — дисциплины отличаются. Для технических тем проверка препринтов одна, для гуманитарных источников другая. Поэтому flow должен иметь базовую схему и дисциплинарные уточнения.

Что измерять

Мы смотрели:

• сколько источников поменяли до финальной вычитки;
• сколько неподтвержденных ссылок дошло до выпуска;
• сколько времени заняла проверка;
• какие типы ошибок повторяются чаще.

Эти данные помогают улучшать не только редактуру, но и входной бриф для экспертов.

Итог

AI review flow нужен не для того, чтобы бояться ИИ. Он нужен, чтобы поставить проверку там, где риск дешевле исправлять. Чем раньше команда отделяет кандидатные источники от подтвержденных, тем меньше поздних переделок и потери доверия.