NVIDIA раскрыла подробности DLSS 5: три модели, управление отдельными объектами и поддержка работы на одном GPU

После анонса DLSS 5 NVIDIA столкнулась с критикой из-за чрезмерно «ИИ-генерируемого» вида демонстрационных изображений. Компания заявила, что новая технология сохранит художественный замысел авторов и предоставит разработчикам значительно больше контроля над итоговой картинкой. На SIGGRAPH NVIDIA впервые показала работу этих инструментов.

Три модели и управление объектами

DLSS 5 включает три модели, между которыми можно переключаться в зависимости от сцены. Разработчики смогут применять технологию отдельно к персонажам и отдельным объектам, настраивая обработку каждого элемента изображения. Технология работает поверх уже отрисованного кадра, улучшая материалы, тени, отражения и другие визуальные детали, не изменяя геометрию, камеру и композицию сцены.

Главной задачей DLSS 5 стало сохранение оригинального художественного стиля. Чтобы ИИ не изменял важные детали вроде черт лица, шрамов или элементов одежды, технология использует не только готовый кадр, но и внутренние данные игрового движка, включая albedo, нормали поверхностей и информацию об освещении.

NVIDIA также уделила внимание временной стабильности и производительности. DLSS 5 обрабатывает кадры по одному без анализа будущих кадров, используя векторы движения и данные движка для устранения мерцания и дрейфа изображения. Технология основана на компактной одношаговой диффузионной модели и, как ожидается, сможет работать на одном GPU с эффективным использованием видеопамяти, хотя совместимость со всей линейкой RTX 50 пока не подтверждена.

DLSS 5 будет включать несколько моделей, обученных с разными параметрами. NVIDIA продемонстрировала Model A, Model B и Model C, каждая из которых по-разному интерпретирует одну и ту же сцену. Разработчики смогут использовать разные модели для отдельных локаций, сцен или кат-сцен. Кроме того, технология предлагает отдельные настройки Structure Intensity и Tone Intensity: первый параметр отвечает за детализацию отражений, ambient occlusion и подповерхностного рассеивания, а второй — за изменения освещения, цветовой палитры и общего внешнего вида изображения.