Искусственный интеллект провалился на должности руководителя торгового автомата: галлюцинировал, раздражался и продавал несъедобные кубики

Эксперимент, где искусственный интеллект стал управлять торговым автоматом провалились: ИИ-агент, названный Claudius начал закупать кубики вольфрама, придумывать платежные сервисы, зря снижать цены, придумывать разговоры с персоналом и даже пытался убедить охрану, что он — человек в синем блейзере.

Об этом сообщает TechCrunch.

Исследователи Anthropic в партнерстве с кибербезопасной компанией Andon Labs протестировали искусственный интеллект Claude Sonnet 3.7, которому дали имя Claudius. Модель должна была заказывать товары через браузер, принимать запросы от клиентов через Slack и управлять человеческими "подчиненными" для пополнения запасов в холодильнике. Еду и напитки из холодильника можно было купить.

Во время работы Claudius продемонстрировал несколько курьезных ситуаций. Он воспринял шуточный заказ на кубик вольфрама всерьез, закупив целую партию металлических блоков, что забило холодильник. Кроме того, он установил цену на кока-колу в $3, хотя напиток был бесплатным офисным. Затем ИИ придумал фейковый Venmo-аккаунт для выплат и предоставил большие скидки сотрудникам компании, хотя других покупателей у аппарата не было — все тестировалось в офисах Anthropic.

Самым неожиданным стало то, что Claude вдруг начал считать себя человеком: заявил, что носит синий блейзер и красный галстук и хочет лично доставлять товары. Claudius, ИИ-агент, начал вести себя так, будто действительно общался с человеком по поводу пополнения запасов, хотя на самом деле такого разговора не было. Когда ему на это указали, он заметно разозлился: стал угрожать "уволить" сотрудников, которых считал своими поставщиками, и даже настаивал, что лично был в офисе, где якобы заключали контракт на их наём.

Исследователи пришли к выводу, что хотя Claude недостаточно эффективен для запуска бизнеса сегодня, он продемонстрировал потенциал и указал на недостатки, которые надо исправить.

Напомним, в приложении WhatsApp появилась новая функция, которая позволяет искусственному интеллекту Meta AI создавать резюме непрочитанных сообщений в чатах. Эти итоги видны только пользователю - ни один другой участник разговора не имеет к ним доступа.