VI3NR: Inizializzazione informata sulla varianza per rappresentazioni neurali implicite
Author
Venue
CVPR 2025
Abstract
Le rappresentazioni neurali implicite (INR) sono uno strumento versatile e potente per la codifica di varie forme di dati, tra cui immagini, video, suoni e forme 3D. Un fattore critico per il successo delle INR è l'inizializzazione della rete, che può influire in modo significativo sulla convergenza e sull'accuratezza del modello appreso. Sfortunatamente, le inizializzazioni delle reti neurali comunemente utilizzate non sono ampiamente applicabili a molte funzioni di attivazione, specialmente quelle utilizzate dalle INR. In questo articolo, miglioriamo i precedenti metodi di inizializzazione derivando un'inizializzazione che presenta una varianza stabile tra i livelli e si applica a qualsiasi funzione di attivazione. Dimostriamo che ciò generalizza molti metodi di inizializzazione precedenti e offre una stabilità ancora maggiore per le attivazioni ben studiate. Dimostriamo inoltre che la nostra inizializzazione porta a risultati migliori con le funzioni di attivazione INR in diverse modalità di segnale. Il nostro approccio è particolarmente efficace per le INR gaussiane, dove dimostriamo che la teoria della nostra inizializzazione corrisponde alle prestazioni del compito in diversi esperimenti, consentendoci di ottenere miglioramenti nella ricostruzione di immagini, audio e superfici 3D.
