Runway выпустила мощную модель Gen-4 для создания видео

Компания Runway релизнула модель Gen-4, которая умеет генерировать видео с одним из самых высоких уровней визуального качества среди конкурентов. Ею уже могут воспользоваться корпоративные клиенты и индивидуальные пользователи платформы Runway.

Об этом пишет TechCrunch.

Что умеет новая модель от Runway

Новая модель Gen-4 умеет генерировать стабильные образы героев, локаций и объектов в различных сценах, не нарушая целостности среды и воспроизводя отдельные элементы с разных позиций и ракурсов. Пользователи могут предоставить модели изображение определенного персонажа и сделать описание кадра или композиции, которую они хотели бы получить.

"Gen-4 может использовать визуальные референсы и инструкции для создания новых изображений и видео со стабильным стилем, персонажами и локациями. И все это без необходимости дополнительной тренировки или дообучения модели", — утверждает Runway в своем блоге.

Модель Gen-4 может сохранять соответствие персонажей в различных условиях освещения, а также имитировать реалистичную физику в кадре. Разработчики модели рассказали, что обучали новый инструмент на значительном объеме видеоматериалов, не раскрывая источники данных, чтобы не потерять конкурентные преимущества.

Однако такой подход компании уже вызвал судебные иски. Против нескольких компаний, включая Runway, уже подан коллективный иск из-за использования защищенных авторским правом изображений без разрешения для обучения алгоритмов.

Сам стартап поддерживается инвестициями от Salesforce, Nvidia и Google и преимущественно специализируется на инструментах для работы с видео. Конкурентами компании являются гиганты OpenAI и Google со своими моделями Sora и Veo 2 соответственно. Runway стремится сохранить позиции на рынке, для чего уже заключила соглашение с крупной студией из Голливуда и инвестировала значительные средства в создание фильмов с использованием искусственного интеллекта.

Напомним, компания ByteDance, которая является владельцем TikTok, представила ИИ-генератор видео OmniHuman. Он может создавать реалистичные видео на основе одной фотографии.

Также мы писали, что Google раскрыл стоимость пользования своим новым инструментом для генерации видео Veo 2. Среди всех аналогов он является самым дорогим в использовании.