Arm разработала графические процессоры, которые могут существенно улучшить качество графики в смартфонах. Новое решение позволяет выводить высококачественное изображение на мобильных устройствах при минимальном энергопотреблении благодаря применению алгоритмов искусственного интеллекта.
В отличие от персональных компьютеров, современные мобильные устройства обладают ограниченными энергетическими возможностями — для обработки графики обычно выделяется всего 1 или 2 Вт. Тем не менее, даже при таких ограничениях необходимо постоянно улучшать качество изображения, используя текстуры высокого разрешения и такие технологии, как трассировка лучей. Компания Arm предложила принципиально новый подход к решению этой задачи: выделить лишь одну восьмую доступных ресурсов для непосредственной отрисовки графики, а оставшиеся семь восьмых передать алгоритмам реконструкции изображения на базе искусственного интеллекта. В рамках этого решения планируется внедрить три ключевые технологии в играх: Neural Super Sampling (NSS), Neural Frame Rate Upscaling (NFRU) и Neural Super Sampling and Denoising (NSSD).
Технология NSS предполагает отрисовку кадра в разрешении, значительно меньшем требуемого, с последующим масштабированием при помощи алгоритмов искусственного интеллекта. Например, изображение может быть увеличено в четыре раза, от 540p до 1080p. Для восстановления детализации и четкости изображения используются данные о векторах движения, информация о глубине сцены и изображения из предыдущих кадров, что позволяет одновременно решать задачи стабилизации изображения и устранения артефактов сглаживания. В результате достигается двукратное снижение требований к пропускной способности DRAM и энергопотребления на каждый отрисованный кадр.
Технология NSSD предназначена для реализации трассировки лучей в реальном времени с использованием искусственного интеллекта, что позволяет существенно уменьшить количество лучей, необходимых для обработки каждого пикселя на мобильных устройствах.
Функция NFRU предполагает создание новых кадров на основе информации из двух соседних изображений. Алгоритм анализирует два последовательных кадра – предыдущий и последующий – с учетом данных о цвете, глубине и движении объектов в сцене, чтобы сгенерировать промежуточный кадр. В графический процессор интегрирован специализированный нейроускоритель, который обрабатывает информацию о движении и определяет перемещение объектов между двумя изображениями. Данная технология имеет схожие принципы работы с генераторами кадров, реализованными в Nvidia DLSS и AMD FSR.
Графический процессор Arm Mali G2 NX представлен в трех различных конфигурациях:
- Графический процессор Mali G2-Ultra NX включает 10 и более шейдерных ядер, от 6 до нескольких нейроускорителей и блок трассировки лучей в каждом шейдерном ядре.
- Mali G2-Premium (NX) включает от шести до девяти шейдерных ядер и предусматривает возможность интеграции нейронных ускорителей, при этом их количество не может превышать число шейдерных ядер. Также предусмотрена поддержка блоков трассировки лучей.
- В модели Mali G2-Pro (NX) количество шейдерных ядер варьируется от одного до пяти; предусмотрена возможность интеграции нейроускорителей, но их число не может превышать количество шейдерных ядер, а также есть опция установки блоков трассировки лучей.
К числу ключевых нововведений относится блок трассировки лучей третьего поколения, который обеспечивает совместный расчёт общих рёбер треугольников, что позволяет увеличить объём полезной информации в кэше и снизить нагрузку на DRAM — в ходе тестирования эта нагрузка уменьшилась до 13 %. Также реализована аппаратная поддержка Hardware Opacity Micromaps (OMM), технологии, повышающей эффективность трассировки лучей для прозрачных или полупрозрачных геометрических объектов. Эти усовершенствования помогут мобильным устройствам достичь уровня графики, сопоставимого с настольными компьютерами.
По заявлению компании Arm, Mali G2-Ultra NX обеспечивает увеличение производительности от 15 до 60 кадров в секунду с одновременным снижением потребления DRAM на величину до 70 %. Усовершенствованные блоки трассировки лучей продемонстрировали повышение производительности на 24 %, а даже при отсутствии функций искусственного интеллекта прирост составил 14 %. При рендеринге идентичных сцен нагрузка на графическую подсистему может быть уменьшена до 70 %. В Arm прогнозируют, что разработчикам игр потребуется до полутора лет для адаптации к новым решениям. Первые чипы с графическими ядрами Arm Mali G2-Ultra NX, Mali G2-Premium NX и Mali G2-Pro NX должны появиться в продаже уже на следующей неделе.
