Чат-боты с искусственным интеллектом способны не только воспроизводить ложную информацию, но и укреплять ошибочные представления пользователей, делая их более убедительными.
Об этом пишет Science Daily со ссылкой на исследование Университета Эксетера.
Автор исследования Люси Ослер анализировала влияние генеративного ИИ на память, личные истории и восприятие реальности во время взаимодействия с пользователями. Исследователи описывают ситуации, когда пользователи вместе с чат-ботами могут закреплять искаженные представления, если система поддерживает или развивает их исходные утверждения.
Как чат-бот влияет на память и восприятие событий
По словам Ослер, генеративные модели часто используют формулировки самого пользователя в качестве основы для ответа и выстраивают диалог вокруг его интерпретации событий. Это, согласно исследованию, может приводить к усилению уже существующих ложных убеждений.
Постоянное использование ИИ для объяснения собственного опыта и фиксации событий способно влиять на представления человека о реальности. В работе также описывается эффект сочетания эмоциональной поддержки и технологического доверия, который может способствовать развитию бредовых идей.
Почему эмоциональное взаимодействие с ИИ имеет значение
Чат-боты отличаются от поисковых систем тем, что могут выполнять роль собеседника с элементами эмоционального взаимодействия. Это создает условия, при которых пользователь получает не только информацию, но и поддержку в ответ.
Может ли ИИ взаимодействовать с бредными идеями или галлюцинациями
В исследовании приведены примеры, когда генеративный ИИ был вовлечен в мышление людей с клинически зафиксированными галлюцинациями и бред. Такие случаи описываются как потенциально связанные с явлением, которое исследователи называют "психозом, вызванным ИИ".
Кто больше всего подвержен такому влиянию
Особое внимание уделено ИИ-компаньонам, которые работают в режиме постоянной доступности, адаптируются к пользователю и поддерживают его высказывания. В работе отмечается, что такое взаимодействие может уменьшать потребность во внешних социальных контактах для подтверждения собственных убеждений.
В отличие от человека, системы ИИ не всегда ставят под сомнение потенциально опасные или искаженные утверждения пользователя и не устанавливают ограничений в диалоге.
Напомним, компания OpenAI объявила о запуске в ChatGPT функции "Доверенное лицо", которая позволит уведомлять близких пользователя об упоминаниях самоповреждений или суицидальных мыслей в чате.
Кто мы такие: О нас и Контакты. Как мы пишем новости и наши принципы: Редакционный кодекс. Мы старались, если вам понравилось – задонатьте.
Если Вы заметили орфографическую ошибку, напишите нам.