Российские разработчики ПО столкнулись с кибератаками на ИИ-сервисы

Такой вывод содержится в совместном исследовании ассоциации разработчиков программных продуктов «Отечественный софт» и компании по разработке ПО AppSec Solutions.

Участниками исследования стали 54 российских разработчика, которые занимают 30 % индустрии тиражируемого ПО. Все компании заявили, что используют искусственный интеллект в своей работе. Более 80% организаций применяют ИИ для разработки кода. Кроме этого, сотрудники всех опрошенных компаний используют теневой ИИ. В 59 % случаев частично, в 41% массово.

Разработчики осознанно принимают риск использования ИИ-кода в работе. Только 11 % респондентов считают, что код, сгенерированный ИИ, безопаснее человеческого.

Аналитики выделили четыре типа ключевых атак на искусственный интеллект. Инъекция промпта предполагает, что злоумышленник внедряет в запрос команду, заставляющую искусственный интеллект игнорировать правила разработчиков. Утечка системного промпта означает, что хакер с помощью манипулятивного запроса вынуждает нейросеть раскрыть свои скрытые инструкции, правила и внутреннюю логику работы.

Извлечение данных через ответы модели происходит, когда киберпреступник вынуждает нейросеть раскрыть конфиденциальную информацию, содержащуюся в ее обучающей выборке или контексте памяти. Отравление данных обучения предполагает, что злоумышленник намеренно внедряет вредоносную или искаженную информацию в обучающую выборку нейросети до начала ее тренировки.

С момента внедрения искусственного интеллекта 4% компаний-разработчиков столкнулись с промпт-инъекциями на чат-боты ассистентов и модификацией пользовательских клиентов. Еще 22% не отслеживали атаки на ИИ. Оставшиеся участники исследования уверены, что не сталкивались с таким воздействием.