ИИ-бот Cursor придумал несуществующий пункт в пользовательском соглашении, вызвав шквал критики

В ответ бот по имени Сэм заявил, что такое поведение предусмотрено новой политикой, ограничивающей использование аккаунта одним устройством. Однако, как выяснилось, никакой такой политики не существовало — бот просто её выдумал.

Этот случай стал наглядным примером так называемых «галлюцинаций» ИИ — ситуации, когда модель уверенно выдает выдуманную информацию вместо того, чтобы признать незнание. Ошибка вызвала волну негодования: на Reddit и Hacker News пользователи начали угрожать отменой подписок, а некоторые заявили, что полностью откажутся от использования Cursor. Хотя исходный пост на Reddit был удалён модераторами, дискуссия не утихла.

Компания отреагировала оперативно. Сооснователь Cursor Майкл Труэлл извинился перед пользователями, пояснив, что инцидент связан с недавними изменениями в системе безопасности. Он пообещал, что отныне AI-ответы будут чётко помечаться как сгенерированные.

Для Cursor, создающего инструменты на основе искусственного интеллекта специально для разработчиков, этот инцидент стал болезненным, но важным уроком.