VI3NR: Inicialización basada en la varianza para representaciones neuronales implícitas
Author
Venue
CVPR 2025
Abstract
Las representaciones neuronales implícitas (INR) son una herramienta versátil y potente para codificar diversas formas de datos, incluyendo imágenes, vídeos, sonido y formas 3D. Un factor crítico para el éxito de las INR es la inicialización de la red, que puede influir significativamente en la convergencia y la precisión del modelo aprendido. Lamentablemente, las inicializaciones de redes neuronales más comunes no son ampliamente aplicables a muchas funciones de activación, especialmente a las utilizadas por las INR. En este artículo, mejoramos los métodos de inicialización anteriores al derivar una inicialización que presenta una varianza estable entre capas y que se aplica a cualquier función de activación. Demostramos que esto generaliza muchos métodos de inicialización anteriores y ofrece una estabilidad aún mayor para activaciones bien estudiadas. También demostramos que nuestra inicialización conduce a mejores resultados con funciones de activación INR en múltiples modalidades de señal. Nuestro enfoque es particularmente eficaz para las INR gaussianas, donde demostramos que la teoría de nuestra inicialización coincide con el rendimiento de la tarea en múltiples experimentos, lo que nos permite lograr mejoras en la reconstrucción de imágenes, audio y superficies 3D.
