VI3NR: Op variantie gebaseerde initialisatie voor impliciete neurale representaties
Author
Venue
CVPR 2025
Abstract
Impliciete neurale representaties (INR's) zijn een veelzijdig en krachtig hulpmiddel voor het coderen van verschillende vormen van data, waaronder afbeeldingen, video's, geluid en 3D-vormen. Een cruciale factor voor het succes van INR's is de initialisatie van het netwerk, die een aanzienlijke invloed kan hebben op de convergentie en nauwkeurigheid van het aangeleerde model. Helaas zijn veelgebruikte initialisaties van neurale netwerken niet breed toepasbaar voor veel activeringsfuncties, met name die welke door INR's worden gebruikt. In dit artikel verbeteren we eerdere initialisatiemethoden door een initialisatie af te leiden die een stabiele variantie heeft over de lagen heen en toepasbaar is op elke activeringsfunctie. We laten zien dat dit een veralgemening is van veel eerdere initialisatiemethoden en zelfs een betere stabiliteit biedt voor goed bestudeerde activeringen. We tonen ook aan dat onze initialisatie leidt tot betere resultaten met INR-activeringsfuncties in meerdere signaalmodaliteiten. Onze aanpak is bijzonder effectief voor Gaussiaanse INR's, waarbij we aantonen dat de theorie van onze initialisatie overeenkomt met de taakprestaties in meerdere experimenten, waardoor we verbeteringen kunnen realiseren in beeld-, audio- en 3D-oppervlakte-reconstructie.
