Відомий ентузіаст Minecraft і розробник Sammyuri представив на GitHub проєкт CraftGPT — невелику мовну модель, яка працює всередині гри. Модель навчена на датасеті TinyChat і складається з 5 мільйонів параметрів, розміщених у 439 млн блоків Minecraft.
Про це пише Tom’s Hardware.
Для запуску CraftGPT Sammyuri збудував у грі гігантський комп’ютер з Redstone, включаючи токенайзери та матричні помножувачі. Відео демонструє процес складання системи компонент за компонентом, з використанням моду Distant Horizons, щоб захопити всю масштабну конструкцію на камеру.
Хоча проект працює, користувачам доведеться чекати до кількох годин на відповідь, навіть із прискоренням тікрейту у 40 000 разів за допомогою MCHPRS. Sammyuri попереджає, що CraftGPT часто відхиляється від теми, генерує граматично некоректні або безглузді відповіді, тому її не варто розглядати як заміну традиційним LLM.
Модель має 6 шарів, словник на 1920 токенів та вікно контексту на 64 токени — цього достатньо лише для дуже коротких розмов. Більшість ваг квантовані до 8 біт, окремі елементи зберігаються на 18–24 бітах для точності.
Нагадаємо, австралійський фільм жахів Together спричинив обурення глядачів у Китаї після того, як відвідувачі помітили підміну: сцени з одностатевою парою замінили гетеросексуальною за допомогою штучного інтелекту.
Хто ми такі: Про нас та Контакти. Як ми пишемо новини та наші принципи: Редакційний кодекс. Ми старались, якщо вам сподобалось – задонатьте.
Якщо Ви помітили орфографічну помилку, напишіть нам.