Новая ИИ-модель умеет генерировать LEGO-конструкции по описанию

Команда ученых из Университета Карнеги-Меллона представила LegoGPT — первый в своем роде ИИ-инструмент, способный создавать физически стабильные и пригодные для сборки конструкции из LEGO на основе текстового запроса. Алгоритм генерирует целостные объекты с детальной цветной отделкой, которые могут быть собраны вручную или с помощью роботизированных манипуляторов.

Об этом говорится на Github.

Как работает модель LegoGPT

Разработка базируется на крупномасштабном датасете StableText2Lego, содержащем более 47 тысяч LEGO-конструкций, которые представляют более 28 тысяч уникальных 3D-объектов. Каждый из образцов сопровождается описаниями, созданными с помощью модели GPT-4o на основе визуализаций конструкций с 24 ракурсов.

Во время генерирования LegoGPT превращает текстовое описание пользователя в последовательность инструкций для сборки конструкции, добавляя по одному кирпичику. Система проверяет корректность каждого элемента, прежде чем добавить новый, а также проверяет соответствие библиотеке кирпичиков и физическую целесообразность размещения. Модель может обнаружить, что конструкция нестабильна во время ее создания, тогда все неустойчивые части автоматически удаляются, и процесс повторяется с последнего надежного состояния.

Кроме генерации самих моделей, исследователи реализовали механизм "текстурирования" - визуального оформления LEGO-моделей в соответствии с заданным стилем или цветовой гаммой.

Разработка уже доказала свою эффективность в создании визуально привлекательных, устойчивых конструкций, которые точно соответствуют изначальным текстовым запросам. В открытом доступе также появился код проекта, обученные модели и сам датасет StableText2Lego, что открывает широкие возможности для дальнейших исследований в сфере генеративного дизайна и образовательного использования LEGO.

Напомним, компания Opera анонсировала браузер нового поколения под названием Neon, разработанный специально для задач, использующих искусственный интеллект. Сейчас доступ к продукту возможен только через предварительную регистрацию, а после официального запуска сервис будет работать по модели подписки. Информацию о стоимости подписки компания пока не обнародовала.

Также мы писали, что руководитель Anthropic Дарио Амодей заявил, что современные ИИ-модели придумывают факты реже, чем это делают сами люди. Он также отметил, что появление галлюцинаций у ИИ не является существенной преградой для разработки AGI — систем с искусственным или сверхчеловеческим интеллектом.