Исследователи Apple представили новую технологию под названием LGTM (Learned Geometry and Texture Model), которая призвана радикально улучшить графическую производительность и качество визуализации в гарнитурах смешанной реальности, таких как Apple Vision Pro.
Эта разработка решает одну из главных проблем современной пространственной электроники: необходимость рендеринга сложной 3D-графики в сверхвысоком разрешении при ограниченных вычислительных мощностях мобильного чипа.
Суть технологии: разделение геометрии и текстур
Традиционные методы рендеринга 3D-сцен требуют огромных ресурсов, так как системе приходится одновременно просчитывать и сложную структуру объектов, и их детальный внешний вид. При переходе к разрешению 4K нагрузка на графический процессор (GPU) возрастает в геометрической прогрессии, что часто приводит к падению частоты кадров или перегреву устройства.
Фреймворк LGTM меняет этот подход, внедряя концепцию «декоплинга» — разделения геометрической сложности и разрешения рендеринга. Процесс работы LGTM разделен на два этапа:
-
Анализ структуры: Первая нейросетевая модель обучается понимать геометрию сцены на основе изображений низкого разрешения. Это позволяет создать легкий, но точный «каркас» объектов без лишних затрат ресурсов.
-
Наложение деталей: Вторая сеть фокусируется исключительно на внешнем виде. Она берет высокоразрешенные данные и «наслаивает» детализированные текстуры на уже готовую упрощенную геометрию.
Почему это важно для Vision Pro
Для пользователя Vision Pro это означает существенный скачок в качестве погружения. Дисплеи гарнитуры обладают выдающейся плотностью пикселей, но контент не всегда может задействовать их потенциал на 100% из-за аппаратных ограничений. LGTM позволяет масштабировать существующие системы до честного 4K без «взрывного» роста энергопотребления.
Внедрение LGTM обеспечит отсутствие артефактов и визуальных разрывов при перемещении в пространстве, что критически важно для предотвращения эффекта укачивания. Технология базируется на методах 3D Gaussian Splatting (алгоритм для быстрого создания реалистичных 3D-сцен из фото), но делает их пригодными для работы в реальном времени на носимых устройствах.
Экспертный взгляд
Apple в очередной раз доказывает, что их стратегия в области AI и графики строится вокруг оптимизации. Вместо того чтобы просто наращивать количество ядер в процессорах серии M, компания ищет способы эффективнее использовать каждый такт. LGTM — это не просто теоретическое исследование, а фундамент для будущих версий visionOS.
Вероятно, в ближайших обновлениях системы или в новых поколениях Vision Pro мы увидим более детализированные виртуальные окружения и фотореалистичные аватары, которые будут работать плавно, сохраняя при этом автономность устройства.
