OpenAI представила режим в ChatGPT для противодействия внедрению промптов

Для повышения безопасности чат-бота были анонсированы две новые опции: «Режим блокировки» (Lockdown Mode) и маркировку функций как «Повышенный риск» (Elevated Risk labels). Эти меры разработаны для противодействия угрозам, связанным со скрытыми вредоносными инструкциями.

Атаки методом внедрения промптов позволяют злоумышленникам помещать инструкции внутрь веб-содержимого или подключённых источников данных. При обработке такого контента искусственный интеллект может быть обманным путём направлен на выполнение скрытых команд. В результате возможна компрометация чувствительной информации или осуществление нежелательных действий.

Риск таких атак становится всё более актуальным по мере интеграции ИИ-систем со сторонними сервисами.

«Режим блокировки» представляет собой усиленную защитную функцию от OpenAI. Он позиционируется как дополнительная опция, рассчитанная на довольно узкий круг пользователей. К ним относятся топ-менеджеры крупных корпораций, специалисты по кибербезопасности, журналисты, работающие с закрытыми данными, а также организации, регулярно подвергающиеся целенаправленным атакам. Активация данного режима жёстко ограничивает возможность ChatGPT взаимодействовать со внешними системами. Эти ограничения являются детерминированными, то есть их работа не зависит исключительно от решений самой модели.