VI3NR: Varianzbasierte Initialisierung für implizite neuronale Darstellungen
Author
Venue
CVPR 2025
Abstract
Implicit Neural Representations (INRs) sind ein vielseitiges und leistungsstarkes Werkzeug zur Kodierung verschiedener Datenformen, darunter Bilder, Videos, Ton und 3D-Formen. Ein entscheidender Faktor für den Erfolg von INRs ist die Initialisierung des Netzwerks, die die Konvergenz und Genauigkeit des gelernten Modells erheblich beeinflussen kann. Leider sind gängige Initialisierungsmethoden für neuronale Netze für viele Aktivierungsfunktionen nicht universell einsetzbar, insbesondere nicht für diejenigen, die von INRs verwendet werden. In diesem Artikel verbessern wir bisherige Initialisierungsmethoden, indem wir eine Initialisierung ableiten, die über alle Schichten hinweg eine stabile Varianz aufweist und auf jede Aktivierungsfunktion anwendbar ist. Wir zeigen, dass dies viele bisherige Initialisierungsmethoden verallgemeinert und bei gut untersuchten Aktivierungen sogar eine noch bessere Stabilität aufweist. Wir zeigen außerdem, dass unsere Initialisierung zu verbesserten Ergebnissen mit INR-Aktivierungsfunktionen in mehreren Signalmodalitäten führt. Unser Ansatz ist besonders effektiv für Gaußsche INRs, wo wir in mehreren Experimenten nachweisen, dass die Theorie unserer Initialisierung mit der Aufgabenleistung übereinstimmt, wodurch wir Verbesserungen bei der Bild-, Audio- und 3D-Oberflächenrekonstruktion erzielen können.
