Популярная фраза из игры Detroit: Become Human — «Один из вас — мой напарник, а второй…» — стала особенно актуальной на фоне распространения ИИ-контента, обострившись в художественной сфере. Чтобы выяснить, могут ли люди отличить истории, созданные настоящим писателем, от рассказов, написанных искусственным интеллектом, американские учёные провели три исследования. Оказалось, что участникам не помогла даже начитанность.
«Человечный» рассказчик Chat GPT
Исследовательницы факультета психологии и нейронаук из Университета Вилланова (США) Сидни Сирси и Дина Сколник Вайсберг решили выяснить, насколько размытой стала грань между творчеством реальных авторов и ИИ, а также влияет ли «репутация» последнего на оценку текста.
Для этого провели три исследования. В первом приняли участие свыше 1680 человек. Они читали случайный рассказ из шести: три создали люди, по подобию этих текстов ещё три сгенерировал Chat GPT. Однако исследовательницы решили схитрить. Половине выборки сказали, кто настоящий автор истории, другой — соврали. Тем не менее респондентов предупредили о возможной лжи.
В итоге участники оценили тексты, созданные ИИ, как более интересные и качественные. При этом испытуемые демонстрировали предвзятое отношение к творчеству нейросети: выше оценивали истории, которые, как думали, написаны человеком.
«Из-за сложившихся предубеждений против ИИ люди могут считать, что стихи или рассказы, которые им нравятся больше, написаны людьми… Истории, написанные с помощью ChatGPT, кажутся более человечными, потому что люди положительно реагируют на них. А поскольку люди реагируют на них положительно, то считается, что их написали люди», — заключила группа исследователей.
Во втором исследовании приняли участие свыше 400 человек. Они получили уже по две истории: авторства человека и Chat GPT. Респонденты должны были определить, какой рассказ сгенерирован, а также выразить уверенность по трёхбалльной шкале. Перед этим их также спросили об отношении к ИИ, уровне начитанности и о работе с художественными текстами.
В итоге только 40% участников смогли правильно определить автора. Знания о литературе им в этом не помогли. А вот люди, которые разбирались в принципах работы нейросетей, угадывали чаще.
В третьем эксперименте принял участие 481 человек. Вопросы о знаниях в области ИИ заменил опросник AILS — шкала из 12 утверждений об уровне осведомлённости, использования, оценки и соблюдения этических норм при работе с нейросетями. В итоге 50% респондентов правильно определили авторство текста, и чем выше был балл по результатам теста, тем чаще опрошенные давали верный ответ.
Писатели vs нейросети
Похожий «эксперимент» провели в 2023 году журнал «Системный Блокъ» и литературное медиа «Подтекст» в рамках спецпроекта «Писатели vs нейросети». Чтобы проверить, сможет ли ИИ писать произведения лучше человека, авторы придумали сюжет и предложили петербургскому писателю Александру Сорге создать рассказ. Позже они сделали соответствующий запрос Chat GPT. Акцент при этом делали не на оценке читателя, а на качестве и лингвистических особенностях текста.
В итоге рассказы отличались по форме повествования, времени действия, а также содержанию. Хотя история нейросети получилась связной и законченной, она была примитивной: Chat GPT просто по порядку расписал, о чём его просили. То есть определить, какой текст принадлежал ИИ, тогда было достаточно легко, рассказал «Ножу» издатель «Подтекста» Владимир Мокрышев.
«Стоит признать, что за три года нейросети, конечно, прокачались и теперь пишут тексты заметно лучше. Однако от них по-прежнему веет фальшью, которую люди всё равно считывают. Вопрос в другом: а как они на эту фальшь реагируют и изменилось ли что-то в восприятии людьми нейросетевых текстов с момента выпуска нашего спецпроекта?» — отметил он.
Подробнее https://knifemedia.livejournal.com/545.html?m...