NVIDIA NTC : une compression de texture neuronale qui offre une résolution 4 fois supérieure à la compression standard
Tout en utilisant 30 % de mémoire en moins. Les auteurs estiment que leur technique de compression neuronale pourrait contribuer à résoudre les problèmes que posent des textures toujours plus qualitatives et lourdes.
Une équipe de plusieurs chercheurs travaillant pour NVIDIA a publié une étude titrée Random-Access Neural Compression of Material Textures présentant un nouvel algorithme de compression des textures. Ce NTC fournirait une résolution quatre fois plus élevée (16x plus de texels) que la compression standard BC (Block Compression) tout en utilisant 30 % de mémoire en moins.
© NVIDIA
Pour résumer, les chercheurs expliquent que leur nouvelle technique de compression neuronale est spécialement conçue pour les textures des matériaux. Ils prétendent qu’elle débloque deux niveaux de détail supplémentaires, c’est-à-dire 16× plus de texels, en utilisant une compression à faible débit, avec une qualité d’image supérieure aux techniques de compression d’images avancées, telles que AVIF et JPEG XL. Cette méthode autorise une décompression à la demande, en temps réel, avec un accès aléatoire similaire à la compression des textures par blocs sur les GPU, ce qui permet la compression sur disque et sur la mémoire.
© NVIDIA © NVIDIA
Avec une GeForce RTX 4090, le rendu 4K est de 1,15 ms, ce qui est supérieur au 0,49 ms du BC.
À lire > NVIDIA affirme que son encodeur AV1 est meilleur que ceux d’AMD et d’Intel
Présentation complète le 6 août prochain
Les auteurs décrivent leur technique en ces termes :
« Les progrès constants du photoréalisme dans le domaine du rendu s’accompagnent d’une croissance des données de texture et, par conséquent, d’une augmentation des besoins en stockage et en mémoire. Pour résoudre ce problème, nous proposons une nouvelle technique de compression neuronale spécialement conçue pour les textures matérielles. Nous débloquons deux niveaux de détail supplémentaires, c’est-à-dire 16× plus de texels, en utilisant une compression à faible débit, avec une qualité d’image qui est meilleure que les techniques de compression d’image avancées, telles que AVIF et JPEG XL. En même temps, notre méthode permet une décompression à la demande, en temps réel, avec un accès aléatoire similaire à la compression de texture par bloc sur les GPU.
Les avantages de la compression s’étendent ainsi du stockage sur disque à la mémoire. L’idée clé de notre approche est de compresser plusieurs textures de matériaux et leurs chaînes de mipmaps ensemble, et d’utiliser un petit réseau neuronal, optimisé pour chaque matériau, pour les décompresser. Enfin, nous utilisons une implémentation d’entraînement personnalisée pour atteindre des vitesses de compression pratiques dont les performances dépassent celles des cadres généraux, comme PyTorch ».
© NVIDIA
Précisons que cette algorithme n’est pas exclusif aux GeForce. Il utilise en effet des méthodes de multiplication matricielle accélérées par la majorité des GPU modernes. Plus d’informations seront données au SIGGRAPH 2023, le 6 août. Pour davantage de détails techniques, vous pouvez consulter le PDF de 15 pages à cette adresse. Inutile de préciser qu’il ne s’adresse pas du tout au grand public.
Source : NVIDIA
Source: Tom's Hardware
