Нове дослідження OpenAI показало, чому ШІ може помилятися і як це виправити

Нове дослідження OpenAI пояснює, чому ChatGPT та інші великі мовні моделі часом вигадують факти. Виявляється, ці помилки математично неминучі через спосіб, яким ШІ формує відповіді — він прогнозує слова по одному.

Про це повідомляє ScienceAlert.

Помилки накопичуються при побудові складних речень, а ймовірність "галюцинацій" зростає для фактів, які модель рідко бачила під час тренування. Навіть сучасні моделі можуть давати кілька різних неправильних дат народження однієї й тієї ж людини, тому видають помилкові відповіді у здавалося б простих фактах.

Проблему поглиблює й те, що сучасні методи оцінки ШІ заохочують "вгадувати" замість вираження невпевненості. Якщо модель говорить "не знаю", ще не подобається користувачу. Тому система відповідає впевнено, але іноді неправильно.

Як виправити "галюцинації" мовної моделі

В OpenAI кажуть, що мовну модель можна навчити оцінювати власну впевненість і відповідати тільки тоді, коли вона перевищує певний поріг. Це зменшило б "галюцинації", але тоді користувачі отримували б відповіді далеко не завжди.

Ще один бар'єр — обчислювальна вартість. Моделі, що враховують невпевненість, потребують значно більше ресурсів. Для критично важливих сфер, як медицина чи фінанси, це виправдано, але для масових споживчих застосунків економічно невигідно.

Нагадаємо, Сем Альтман оголосив про нові правила використання ChatGPT, які стосуються неповнолітніх користувачів. Компанія заявляє, що ставить безпеку підлітків вище за приватність чи свободу взаємодії.