Почему ИИ выдумывает факты в рабочих задачах и как уменьшить ошибки

Представьте: менеджер загрузил расшифровку встречи и попросил составить список договорённостей. Нейросеть указала сроки, ответственных и задачи, а рядом написала: «Заказчик утвердил смету».

Смету действительно обсуждали. Но заказчик сказал, что ему нужно подумать. В протоколе обсуждение превратилось в решение — и команда уже собирается начинать работу.

Это условный пример, но в нём хорошо видна проблема. Ошибку сложно заметить, когда она окружена правильными фактами. Протокол выглядит аккуратно, фамилии знакомые, большинство пунктов совпадает с разговором. Один придуманный вывод легко проскочит вместе с остальными.

Такую правдоподобную выдумку называют галлюцинацией. Она может выглядеть как несуществующая ссылка, приписанная человеку цитата или условие, которого нет в договоре.

Откуда берётся уверенная выдумка

Языковая модель строит ответ по частям: выбирает продолжение с учётом вопроса и доступного контекста. Она умеет воспроизводить форму делового письма, аналитической справки и научной ссылки. Но убедительная форма ещё не подтверждает содержание.

Когда точных данных не хватает, модель может достроить ответ по знакомому шаблону. В протоколах часто встречаются согласованные бюджеты — и обсуждение бюджета превращается в согласование. В описаниях сервисов обычно есть интеграции — и модель добавляет интеграцию, которой у конкретного продукта нет.

Уверенный тон при этом ничего не говорит о качестве проверки. На вопрос «Ты точно уверен?» нейросеть может повторить ошибку и добавить объяснение, почему всё верно.

Полезнее спросить: «Какой фрагмент исходного документа подтверждает этот вывод?» А затем самому найти и прочитать этот фрагмент.

Три ситуации, в которых стоит насторожиться

Первая — вы спрашиваете о том, чего модель не видела. Например, об условиях вашей программы лояльности или о решении с закрытой встречи. Общие знания не заменяют внутренние документы компании. Без источника ответ может оказаться пересказом того, как обычно устроены похожие программы и встречи.

Вторая — вопрос не задаёт границ. «Когда нужно отправить отчёт?» Какой отчёт, кому, за какой период? Если модель сама выберет недостающие условия, получится связный ответ на другой вопрос.

Третья — в материалах есть противоречия. В старой инструкции один срок, в новой другой, а в письме коллега предлагает третий. Вместо выбора действующей версии нейросеть может смешать детали из всех трёх источников.

Поэтому перед запросом стоит убрать устаревшие файлы, назвать действующую редакцию и прямо указать, на какие материалы нужно опираться.

Как дать нейросети знания о компании

Для разовой задачи достаточно приложить нужный документ. Например, действующий регламент и вопрос по конкретному разделу. Не обязательно загружать весь архив компании, если ответ находится на одной странице.

Когда документов много и вопросы повторяются, используют RAG. Система сначала ищет подходящие фрагменты в базе знаний, затем передаёт их языковой модели вместе с вопросом. Модель получает факты, которых не было в её обучении, и формулирует ответ по найденному.

Принцип работы, примеры применения и ограничения я подробно разобрал в статье «RAG простыми словами: как нейросеть отвечает по документам компании»:

RAG простыми словами: как нейросеть отвечает по документам компании

Но подключённая база знаний не гарантирует правильного ответа. Поиск может найти старые условия, пропустить исключение или принести похожий документ про другой продукт. А модель — неверно истолковать даже подходящий фрагмент.

Поэтому проверять нужно два этапа: нашла ли система нужный источник и правильно ли ответила по нему. Ссылка на настоящий документ полезна, только если этот документ подтверждает конкретное утверждение.

Что изменить в запросах

Вместо «Сделай протокол встречи» задайте более точные правила:

«Составь протокол только по этой расшифровке. Раздели принятые решения, предложения и открытые вопросы. Для каждого решения укажи подтверждающую реплику. Если срок или ответственный не названы, напиши „не определён“. Не превращай обсуждение в согласование».

Для вопроса по регламенту запрос может выглядеть так:

«Отвечай только по приложенной действующей версии регламента. Для каждого условия укажи пункт и точную цитату. Если ответа нет, напиши, что документ не содержит нужной информации. Не дополняй его типовыми правилами других компаний».

Такие инструкции уменьшают пространство для догадки. Но даже точная инструкция не отменяет проверку: модель может ошибиться и в цитате, и в номере пункта.

Как проверять результат без лишней работы

Сначала выделите утверждения, от которых зависит следующий шаг. В протоколе это решения, суммы, сроки и ответственные. В ответе клиенту — условия услуги и обещания компании. Именно их нужно сверить с источником до отправки.

Проверяйте связь между источником и выводом. «Предлагаем запустить проект в ноябре» не означает «проект запустят в ноябре». «Обсуждали скидку» не означает «предоставили скидку».

Числа пересчитывайте в таблице или калькуляторе. Наличие ссылки проверяйте открытием страницы. Условие из документа — чтением соответствующего пункта вместе с соседними абзацами, где могут находиться оговорки.

Для постоянного бота соберите небольшой набор реальных вопросов с правильными ответами и источниками. Добавьте вопросы, на которые в базе нет ответа: здесь полезен честный отказ. После изменений документов, поиска или модели прогоняйте этот набор снова.

Нейросеть помогает быстрее подготовить черновик и найти нужную информацию. Но перед тем как её ответ станет договорённостью, обещанием клиенту или поручением команде, проверьте факты, на которых это действие держится.