VI3NR: Inicjalizacja oparta na wariancji dla niejawnych reprezentacji neuronowych
Author
Venue
CVPR 2025
Abstract
Implicit Neural Representations (INR) to wszechstronne i potężne narzędzie do kodowania różnych form danych, w tym obrazów, filmów, dźwięku i kształtów 3D. Kluczowym czynnikiem sukcesu INR jest inicjalizacja sieci, która może znacząco wpłynąć na zbieżność i dokładność wyuczonego modelu. Niestety, powszechnie stosowane inicjalizacje sieci neuronowych nie mają szerokiego zastosowania w przypadku wielu funkcji aktywacji, zwłaszcza tych używanych przez INR. W niniejszym artykule udoskonalamy poprzednie metody inicjalizacji, opracowując inicjalizację, która charakteryzuje się stabilną wariancją w różnych warstwach i ma zastosowanie do dowolnej funkcji aktywacji. Wykazujemy, że stanowi to uogólnienie wielu poprzednich metod inicjalizacji i zapewnia jeszcze większą stabilność w przypadku dobrze zbadanych aktywacji. Wykazujemy również, że nasza inicjalizacja prowadzi do lepszych wyników w przypadku funkcji aktywacji INR w wielu modalnościach sygnałowych. Nasze podejście jest szczególnie skuteczne w przypadku gaussowskich INR, gdzie w wielu eksperymentach wykazujemy, że teoria naszej inicjalizacji pokrywa się z wydajnością zadania, co pozwala nam osiągnąć poprawę w zakresie rekonstrukcji obrazu, dźwięku i powierzchni 3D.
