Неискушенные читатели не в состоянии отличить сгенерированную ИИ-поэзию от написанной людьми — исследование
Неискушенным читателям сложно отличить сгенерированные искусственным интеллектом произведения искусства (картины, фотографии, портреты) от созданных людьми. Об этом говорят результаты исследования американских ученых Брайана Портера и Эдуарда Мэйчери. Материалы опубликованы в научном журнале Scientific Reports.
Исследование состояло из двух экспериментов. В первом приняли участие более 1,6 тыс. человек. Для него выбрали по пять работ десяти известных англоязычных поэтов, еще пять генерировались при помощи чат-бота ChatGPT 3.5 с соблюдением стиля этих авторов. Каждый участник получил случайным образом десять текстов и отвечал, является ли он искусственным продуктом или вышел из-под пера. Этот опыт показал, что участники не могли определить, какое из стихотворений принадлежит настоящему автору и даже несколько чаще называли реальными сгенерированные стихи.
Второй эксперимент проводился с другой группой из почти 700 участников, которые участвовали в исследовании онлайн. Они получали случайный набор из 10 стихотворений и оценивали их по 14 различным параметрам. Участников разделили на три группы: одной говорили, что все тексты созданы ИИ, другой сообщали, что они читают реальные работы, наконец, третья группа не получала никакой информации об авторстве.
В результате участники первой группы давали в среднем более низкие оценки, чем второй, то есть они предпочитали реальные стихотворения, если заранее знали, что они написаны человеком, а не ИИ. Сравнение результатов с третьей группой, участники которой не знали, чьи тексты они читали, показало, что подопытные в целом оценили работы ИИ выше, чем реальных поэтов.
«Наше исследование позволяет предположить, что участники использовали общую, но уязвимую стратегию для различения поэзии ИИ от человеческой: простота сгенерированных ИИ стихотворений делает их более доступными пониманию для читателей, не имеющих [литературной] экспертизы, что в итоге подталкивает их к тому, чтобы отдавать предпочтение сгенерированной поэзии, а сложность сочиненных человеком произведений ложно интерпретировать как несвязную речь, созданную искусственными интеллектом», — отмечают ученые.
