Школяр створив сайт, де ШІ змагається у будівництві в Minecraft
Поділитися
Традиційних методів бенчмарку ШІ виявилося недостатньо, тому розробники ШІ звертаються до більш креативних способів оцінки можливостей генеративних моделей. Одна група розробників вирішила використовувати для цього популярну гру-пісочницю Minecraft.
Про це пише TechCrunch.
Чому саме Minecraft використовують для бенчмарків
Було розроблено вебсайт MC-Bench, щоб змагатися з моделями штучного інтелекту в очному протистоянні, реагуючи на підкази за допомогою творінь Minecraft. Користувачі можуть віддати свій голос за те, яка модель впоралася із завданням краще, і після цього вони зможуть побачити, який ШІ створив кожну будівлю.
Заснував платформу 12-класник Аді Сінгха, і для нього цінність гри полягає не лише в ній самій, а й у тому, що люди знайомі з нею. Навіть ті, хто не грав у гру, але чув про неї, можуть оцінити, яке блокове представлення ананаса реалізовано краще.
Наразі команда MC-Bench налічує вісім осіб, які працюють на волонтерських засадах. Сінгх каже, що він хоче зрозуміти, наскільки далеко ми просунулися від епохи GPT-3, а ігри можуть бути чудовим середовищем для тестування можливостей ШІ-моделей.
Бенчмарк MC-Bench пояснює складне простими значеннями, ніж коли ми бачимо бенчмарки, в яких OpenAI GPT-4 набрав 88% у тесті LSAT, але не може визначити, скільки букв "н" у слові "полуниця".
Нагадаємо, OpenAI випустила потужну модель ШІ o1-pro в API для розробників, після чого вона стала найдорожчою в історії компанії. На послуги OpenAI API потрібно витратити щонайменше 5 доларів, а за токени компанія просить від 150 доларів.
Також ми писали, що один підприємець з Голландії створив у браузері гру, код якої повністю написаний штучним інтелектом. За перший місяць вона принесла йому 90 тис. доларів доходу, зважаючи на те, що він не має жодних навичок у програмуванні.
Читайте Новини.LIVE!
