VI3NR: Инициализация с учетом дисперсии для неявных нейронных представлений
Author
Venue
CVPR 2025
Abstract
Неявные нейронные представления (INR) являются универсальным и мощным инструментом для кодирования различных форм данных, включая изображения, видео, звук и 3D-формы. Ключевым фактором успеха INR является инициализация сети, которая может существенно повлиять на сходимость и точность обученной модели. К сожалению, широко используемые методы инициализации нейронных сетей не подходят для многих активационных функций, особенно тех, которые применяются в INR. В данной работе мы усовершенствуем предыдущие методы инициализации, предложив способ, который обеспечивает стабильную дисперсию по всем слоям и применим к любой активационной функции. Мы показываем, что этот подход обобщает многие предыдущие методы инициализации и демонстрирует ещё более высокую стабильность для хорошо изученных активационных функций. Мы также показываем, что наша инициализация приводит к улучшению результатов при использовании активационных функций INR в различных модальностях сигналов. Наш подход особенно эффективен для гауссовых INR, где мы демонстрируем, что теория нашей инициализации согласуется с результатами выполнения задач в ходе нескольких экспериментов, что позволяет нам добиться улучшений при реконструкции изображений, аудио и 3D-поверхностей.
