Нова ШІ-модель вміє генерувати LEGO-конструкції за описом

Команда науковців з Університету Карнегі-Меллона представила LegoGPT — перший у своєму роді ШІ-інструмент, здатний створювати фізично стабільні та придатні для збирання конструкції з LEGO на основі текстового запиту. Алгоритм генерує цілісні об'єкти з детальним кольоровим оздобленням, які можуть бути зібрані вручну або за допомогою роботизованих маніпуляторів.

Про це йдеться на Github.

Як працює модель LegoGPT

Розробка базується на великомасштабному датасеті StableText2Lego, що містить понад 47 тисяч LEGO-конструкцій, які представляють понад 28 тисяч унікальних 3D-об'єктів. Кожен зі зразків супроводжується описами, створеними за допомогою моделі GPT-4o на основі візуалізацій конструкцій з 24 ракурсів.

Під час генерування LegoGPT перетворює текстовий опис користувача у послідовність інструкцій для складання конструкції, додаючи по одній цеглинці. Система перевіряє коректність кожного елемента, перш ніж додати новий, а також перевіряє відповідність бібліотеці цеглинок та фізичну доцільність розміщення. Модель може виявити, що конструкція нестабільна під час її створення, тоді всі нестійкі частини автоматично видаляються, і процес повторюється з останнього надійного стану.

Окрім генерації самих моделей, дослідники реалізували механізм "текстурування" — візуального оформлення LEGO-моделей відповідно до заданого стилю або кольорової гами.

Розробка вже довела свою ефективність у створенні візуально привабливих, стійких конструкцій, які точно відповідають початковим текстовим запитам. У відкритому доступі також з'явився код проєкту, навчені моделі та сам датасет StableText2Lego, що відкриває широкі можливості для подальших досліджень у сфері генеративного дизайну та освітнього використання LEGO.

Нагадаємо, компанія Opera анонсувала браузер нового покоління під назвою Neon, розроблений спеціально для задач, які використовують штучний інтелект. Наразі доступ до продукту можливий лише через попередню реєстрацію, а після офіційного запуску сервіс працюватиме за моделлю підписки. Інформацію про вартість підписки компанія поки що не оприлюднила.

Також ми писали, що керівник Anthropic Даріо Амодей заявив, що сучасні ШІ-моделі вигадують факти рідше, ніж це роблять самі люди. Він також зазначив, що поява галюцинацій у ШІ не є суттєвою перепоною для розробки AGI — систем зі штучним або надлюдським інтелектом.