ИИ-агенты в компании: кто отвечает за неверное бизнес-решение
Обычный корпоративный ИИ отвечает на вопрос сотрудника, составляет текст или анализирует документ. ИИ-агент может пойти дальше: самостоятельно выбрать следующее действие и выполнить его через подключенные системы.
Например, обработать обращение клиента, изменить статус сделки в CRM, запросить данные из ERP, подготовить предложение, создать задачу сотруднику или отправить сообщение контрагенту.
Чем больше таких действий компания разрешает выполнять автоматически, тем важнее становится вопрос ответственности.
Представим, что агент ошибочно предоставил клиенту скидку 30% вместо 3%. Кто отвечает: разработчик модели, поставщик сервиса, ИТ-отдел, сотрудник, который запустил агента, или руководитель подразделения?
Для бизнеса практический ответ начинается не с поиска виновного после инцидента, а с определения ответственности до того, как алгоритм получит право самостоятельно действовать.
ИИ-агент отличается от обычного чат-бота полномочиями
Главный риск связан не с тем, насколько убедительно ИИ пишет текст.
Важно, что ему разрешено делать.
Если модель неправильно составила внутреннее резюме документа, сотрудник может заметить ошибку до использования результата.
Если агент самостоятельно отправил клиенту предложение, изменил цену или удалил данные, ошибка уже превращается в действие.
Поэтому полезно разделять несколько уровней автономности.
Уровень 1. ИИ рекомендует.Агент анализирует информацию и предлагает решение, но действие выполняет человек.
Уровень 2. ИИ готовит действие.Например, формирует письмо или изменение в CRM, но отправка требует подтверждения.
Уровень 3. ИИ действует самостоятельно в установленных пределах.Например, автоматически возвращает клиенту сумму до 3 000 рублей при выполнении заданных условий.
Уровень 4. ИИ самостоятельно принимает решения с существенными последствиями.
Чем выше уровень, тем жестче должны быть контроль, журналирование и ограничения.
Ответственность нельзя передать алгоритму
Фраза «это решил ИИ» не должна становиться бизнес-процессом.
У алгоритма нет должности, бюджета и управленческой ответственности. Компания сама определяет, для какой задачи использовать систему и какие полномочия ей предоставить.
Поэтому для каждого ИИ-агента нужен владелец со стороны бизнеса.
Если агент работает с продажами, таким владельцем может быть коммерческий директор или руководитель соответствующего направления. Если автоматизирует внутреннюю ИТ-поддержку — руководитель ИТ.
ИТ-команда при этом отвечает за техническую реализацию: интеграции, доступы, журналирование, отказоустойчивость и другие технические ограничения.
Специалисты по безопасности — за соответствующие риски и контроль доступа.
Юристы — за юридические ограничения и требования.
Но решение о том, может ли агент самостоятельно предоставить клиенту скидку, отменить заказ или совершить другое бизнес-действие, должно иметь конкретного владельца со стороны бизнеса.
Это соответствует и общему подходу NIST к управлению рисками ИИ: роли и ответственность должны быть определены заранее, а руководство организации отвечает за решения о рисках, связанных с внедрением и использованием AI-систем.
Не каждое решение нужно подтверждать человеком
Есть противоположная крайность — требовать ручного подтверждения каждого действия агента.
Тогда автоматизация теряет значительную часть смысла.
Лучше использовать лимиты.
Например, агент занимается возвратами:
до 3 000 рублей + стандартная причина → решение автоматически;
от 3 000 до 20 000 рублей → требуется подтверждение сотрудника;
более 20 000 рублей → решение принимает руководитель.
Или агент работает с закупками:
запросить коммерческие предложения → может самостоятельно;
сравнить условия → может самостоятельно;
подготовить заказ → может;
разместить заказ до 50 000 рублей у утвержденного поставщика → разрешено автоматически;
новый поставщик или сумма выше лимита → подтверждает сотрудник.
Так компания автоматизирует массовые операции, но сохраняет человеческий контроль там, где цена ошибки становится существенной.
Нужно ограничивать не только решения, но и доступы
ИИ-агент технически является еще одним пользователем корпоративных систем.
И к нему стоит применять похожий принцип: давать только те права, которые необходимы для конкретной задачи.
Если агент должен читать остатки товаров в ERP, ему необязательно разрешать изменять закупочные цены.
Если он создает задачи в CRM, ему не нужен доступ к удалению клиентской базы.
Если агент анализирует документы, ему не обязательно видеть все файловое хранилище компании.
Особенно опасна схема:
агент → одна административная учетная запись → полный доступ сразу к нескольким системам.
Компрометация или некорректное действие такого агента потенциально получает слишком большой масштаб.
Поэтому для автономных систем принцип минимальных привилегий становится не менее важным, чем для сотрудников.
Каждое значимое действие должно оставлять след
После ошибки недостаточно знать, что «агент что-то сделал».
Компания должна иметь возможность восстановить цепочку событий.
Например:
10:31 — агент получил обращение клиента.
10:31 — запросил информацию о заказе.
10:32 — получил статус доставки.
10:32 — классифицировал ситуацию как основание для возврата.
10:33 — инициировал возврат 12 000 рублей.
10:33 — операция выполнена.
Тогда можно выяснить, где именно произошла ошибка: в исходных данных, правилах, работе модели, интеграции или предоставленных полномочиях.
Журналирование особенно важно, если агент действует без предварительного подтверждения человека.
NIST также рекомендует организациям документировать человеческий надзор, ошибки, действия операторов, исключения и решения ответственных лиц при использовании ИИ-систем.
Нужно заранее определить «красную кнопку»
Еще до запуска агента стоит ответить на простой вопрос:
как его остановить, если он начал действовать неправильно?
Например, система обнаружила, что агент за 15 минут создал 300 возвратов вместо обычных пяти.
Не должно требоваться совещание нескольких отделов, чтобы решить, можно ли отключить интеграцию.
Полезно заранее установить автоматические ограничения.
Например:
не более 20 возвратов в час;
не более 100 000 рублей общей суммы;
при резком отклонении от обычного поведения — автоматическая остановка;
возобновление работы — после проверки человеком.
Это тот же принцип, который давно применяется в других ИТ-системах: отказ отдельного компонента не должен автоматически приводить к неограниченным последствиям.
Ошибка поставщика не отменяет внутреннего контроля
Компания может использовать не собственную модель, а внешний AI-сервис.
Но это не означает, что все риски автоматически переходят поставщику.
Предположим, поставщик предоставляет модель через API. Компания самостоятельно подключает ее к CRM и разрешает агенту менять условия сделок.
Модель может быть внешней, но решение предоставить ей такие полномочия приняла сама компания.
Поэтому перед внедрением стоит отдельно определить:
- какие гарантии дает поставщик;
- какие ограничения модели он указывает;
- какие данные передаются внешнему сервису;
- как фиксируются действия;
- что происходит при недоступности сервиса;
- кто отвечает за интеграционный слой;
- какие действия требуют подтверждения человека.
NIST отдельно рекомендует учитывать риски стороннего ПО, моделей и данных в общей системе управления AI-рисками. Для каждого ИИ-агента можно составить простую таблицу.
Главный вопрос — не насколько умен агент
При внедрении ИИ компании часто обсуждают качество модели: насколько хорошо она рассуждает, какой процент задач решает и какую экономию дает.
Для автономного агента появляется еще один параметр — цена неправильного действия.
Если ошибка приводит максимум к неправильно созданной внутренней задаче, можно позволить системе достаточно высокую автономность.
Если ошибка способна перевести деньги, изменить договорные условия, раскрыть конфиденциальные данные или остановить критичный процесс, контроль должен быть значительно жестче.
Поэтому перед запуском полезно задать три вопроса:
Что худшее может самостоятельно сделать этот агент?
Как быстро мы это обнаружим?
Какой максимальный ущерб он сможет нанести до момента остановки?
Ответы зачастую важнее еще нескольких процентов точности модели.
Главное
ИИ-агенты действительно могут убрать часть ручных операций и ускорить процессы. Но автономность должна появляться вместе с ответственностью.
Компании необходимо заранее определить владельца каждого агента, границы его полномочий, лимиты, доступы, правила человеческого подтверждения, журналирование и механизм экстренной остановки.
И здесь действует простой принцип:
чем выше потенциальная цена ошибки, тем меньше должна быть свобода алгоритма действовать без человека.
Поэтому вопрос «кто отвечает, если ИИ принял неправильное решение?» лучше заменить другим:
«Кто в компании разрешил ИИ принимать решения такого уровня и какие ограничения были установлены?»
Именно с ответа на него начинается управляемое внедрение автономных ИИ-агентов в бизнес.