Учёные из Университета Вилланова в США пришли к выводу, что аудитория часто не может распознать тексты, созданные искусственным интеллектом. Более того, если читатели считают такой рассказ человеческим, они нередко оценивают его даже выше, чем произведения реальных авторов.
Исследователи провели серию экспериментов, чтобы проверить, способны ли люди отличить короткие художественные тексты, написанные человеком, от рассказов, сгенерированных ChatGPT. Результаты показали, что в большинстве случаев участники либо ошибались, либо угадывали случайно.
Новое исследование добавило аргументов к уже заметной тенденции: распознавать ИИ-контент становится всё труднее. Если раньше предполагалось, что художественный текст легче отличить по стилю, эмоциональности и глубине, то теперь выяснилось, что даже в литературе граница между человеком и нейросетью для многих читателей почти исчезла.
В исследовании участвовали взрослые от 18 до 81 года
Учёные взяли три коротких рассказа, написанных людьми и опубликованных в известных литературных изданиях, а затем попросили ChatGPT создать похожие тексты.
На первом этапе 1682 участника читали рассказы, при этом им заранее сообщали разную информацию об авторстве. Одним говорили, что текст написал человек, другим – что его создал ИИ. Иногда эта информация соответствовала действительности, а иногда нет. После чтения участники оценивали качество текста и степень симпатии к нему.
В двух следующих экспериментах людям показывали пары рассказов без указания авторства: один текст был написан человеком, второй – нейросетью. Затем участников просили определить, где какой вариант.
Результаты оказались показательными:
- во втором эксперименте точность составила 39,93%;
- в третьем – 51,97%.
Оба показателя близки к случайному угадыванию.
Если раньше считалось, что литература остаётся одной из самых «человеческих» сфер, где ИИ легко распознать по шаблонности или отсутствию глубины, то новое исследование показывает обратное. Читатели не только с трудом видят разницу, но и иногда выше оценивают тексты ИИ – при условии, что уверены в человеческом авторстве.
Работа показывает, что восприятие текста сильно зависит не только от его содержания, но и от ожиданий аудитории. Люди по-прежнему склонны считать, что хорошая литература должна рождаться из личного опыта, эмпатии и человеческой уникальности. Однако на практике эти представления не всегда совпадают с реальной читательской оценкой.
Для обычного читателя это означает, что отличить художественный текст ИИ от авторского становится всё сложнее. Для авторов, редакторов и платформ – что вопрос маркировки и прозрачности происхождения контента будет становиться всё более актуальным.
Кроме того, исследование показало, что лучше справлялись с распознаванием не те, кто лучше разбирается в литературе, а те, кто лучше знаком с технологиями. Каждый дополнительный балл по шкале AI-грамотности (AILS) повышал вероятность правильного ответа на 33%. Такие участники чаще замечали типичные особенности нейросетевых текстов – например, длинные тире или конструкции вроде «дело не только в X, но и в Y».
К слову, для российской аудитории тема особенно актуальна на фоне быстрого распространения нейросетей в медиа, образовании, маркетинге и контент-производстве. По мере роста числа ИИ-текстов всё более важными становятся навыки критического чтения, цифровая грамотность и понимание того, как именно работают такие системы.
Исследование Университета Вилланова показало, что читатели почти не различают рассказы людей и нейросетей, а иногда даже отдают предпочтение ИИ-текстам, если считают их написанными человеком. Вероятно, причина не только в развитии технологий, но и в самой человеческой склонности выбирать более понятные, структурированные и предсказуемые тексты.
Источник: Хайтек+
