Школьник создал сайт, где ИИ соревнуется в постройках в Minecraft
Поделиться
Традиционных методов бенчмарка ИИ оказалось недостаточно, поэтому разработчики ИИ обращаются к более креативным способам оценки возможностей генеративных моделей. Одна группа разработчиков решила использовать для этого популярную игру-песочницу Minecraft.
Об этом пишет TechCrunch.
Почему именно Minecraft используют для бенчмарков
Был разработан веб-сайт MC-Bench, чтобы соревноваться с моделями искусственного интеллекта в очном противостоянии, реагируя на подсказки с помощью творений Minecraft. Пользователи могут отдать свой голос за то, какая модель справилась с заданием лучше, и после этого они смогут увидеть, какой ИИ создал каждое здание.
Основал платформу 12-классник Ади Сингха, и для него ценность игры заключается не только в ней самой, но и в том, что люди знакомы с ней. Даже те, кто не играл в игру, но слышал о ней, могут оценить, какое блочное представление ананаса реализовано лучше.
Сейчас команда MC-Bench насчитывает восемь человек, которые работают на волонтерских началах. Сингх говорит, что он хочет понять, насколько далеко мы продвинулись от эпохи GPT-3, а игры могут быть отличной средой для тестирования возможностей ИИ-моделей.
Бенчмарк MC-Bench объясняет сложное простыми значениями, чем когда мы видим бенчмарки, в которых OpenAI GPT-4 набрал 88% в тесте LSAT, но не может определить, сколько букв "н" в слове "клубника".
Напомним, OpenAI выпустила мощную модель ИИ o1-pro в API для разработчиков, после чего она стала самой дорогой в истории компании. На услуги OpenAI API нужно потратить минимум 5 долларов, а за токены компания просит от 150 долларов.
Также мы писали, что один предприниматель из Голландии создал в браузере игру, код которой полностью написан искусственным интеллектом. За первый месяц она принесла ему 90 тыс. долларов дохода, несмотря на то, что он не имеет никаких навыков в программировании.
Читайте Новини.LIVE!
