VI3NR : Initialisation informée par la variance pour les représentations neuronales implicites
Author
Venue
CVPR 2025
Abstract
Les représentations neuronales implicites (INR) constituent un outil polyvalent et puissant pour l'encodage de diverses formes de données, notamment les images, les vidéos, les sons et les formes 3D. Un facteur essentiel au succès des INR est l'initialisation du réseau, qui peut avoir un impact significatif sur la convergence et la précision du modèle appris. Malheureusement, les initialisations de réseaux neuronaux couramment utilisées ne sont pas largement applicables à de nombreuses fonctions d'activation, en particulier celles utilisées par les INR. Dans cet article, nous améliorons les méthodes d'initialisation précédentes en dérivant une initialisation qui présente une variance stable entre les couches et s'applique à n'importe quelle fonction d'activation. Nous montrons que cela généralise de nombreuses méthodes d'initialisation précédentes et offre une stabilité encore meilleure pour les activations bien étudiées. Nous montrons également que notre initialisation conduit à de meilleurs résultats avec les fonctions d'activation INR dans plusieurs modalités de signaux. Notre approche est particulièrement efficace pour les INR gaussiens, où nous démontrons que la théorie de notre initialisation correspond aux performances des tâches dans plusieurs expériences, ce qui nous permet d'obtenir des améliorations dans la reconstruction d'images, de sons et de surfaces 3D.
