Проблема точности в 3D-генерации

Раньше главными ошибками нейросетей при создании 3D-объектов по картинке были явные дефекты: разорванные поверхности, нарушенная структура или отсутствие конечностей у персонажей. Сейчас современные модели научились избегать таких грубых ошибок, и они стали редкостью.

Однако возникла более тонкая проблема — несоответствие пропорций. Объект может выглядеть реалистично, но при этом иметь слишком широкое тело, смещенные детали или отсутствующие элементы, которые были на исходном изображении. Meshy называет это свойство «выравниванием» (alignment) и сделала его главной целью для своей новой модели Meshy 7.

Новый метод оценки качества

Для проверки точности Meshy разработала собственный бенчмарк. В отличие от многих других методов, здесь не используются оценки людей или другие нейросети в качестве судей. Вместо этого система сравнивает созданную 3D-геометрию напрямую с эталонной моделью, которая была использована для создания исходного изображения.

Метод исключает ошибки, связанные с виртуальной камерой, и не позволяет исправлять ошибки пропорций за счет масштабирования. Тесты проводятся на разных типах объектов: персонажах, транспортных средствах, скульптурах и предметах с тонкими деталями. Это позволяет проверить, насколько точно модель передает форму при разных условиях освещения и ракурсах.

Результаты тестирования Meshy 7

Согласно данным компании, Meshy 7 показала лучшие результаты среди протестированных моделей по всем трем показателям: общей пропорции, пространственному распределению и детализации поверхности. Особенно заметный отрыв виден в детализации поверхности при использовании одного входного изображения.

Интересно, что при использовании четырех ракурсов вместо одного разрыв между лидерами сокращается. Однако именно при работе с одним изображением — условии, которое чаще всего используют реальные пользователи — модель Meshy 7 демонстрирует наибольшее преимущество перед конкурентами.

Как достигли такого результата

Улучшение точности в Meshy 7 связано с тремя ключевыми изменениями. Во-первых, энкодер изображений теперь считывает данные в нескольких масштабах и поддерживает высокое разрешение, что позволяет сохранять мелкие детали формы. Во-вторых, обучающие данные были переработаны: теперь каждый образец строго соответствует целевой геометрии без лишнего шума в виде освещения или фона.

В-третьих, процесс выравнивания геометрии стал частью самого цикла обучения. Теперь нейросеть оптимизирует свои веса не просто для создания «похожего» объекта, а именно для достижения максимального соответствия исходному изображению в процессе тренировки.

Что это значит

Выпуск Meshy 7 и нового бенчмарка переводит конкуренцию в области генерации 3D из плоскости «просто не ломать структуру» в плоскость точного геометрического соответствия оригиналу. Это делает инструменты генерации более пригодными для профессионального использования, где важна каждая деталь исходного концепт-арта.