VI3NR: Khởi tạo dựa trên phương sai cho các biểu diễn thần kinh ngầm
Author
Venue
CVPR 2025
Abstract
Đại diện thần kinh ngầm (INRs) là một công cụ linh hoạt và mạnh mẽ để mã hóa các dạng dữ liệu khác nhau, bao gồm hình ảnh, video, âm thanh và hình dạng 3D. Một yếu tố quan trọng quyết định thành công của INRs là quá trình khởi tạo mạng, điều này có thể ảnh hưởng đáng kể đến quá trình hội tụ và độ chính xác của mô hình được học. Thật không may, các phương pháp khởi tạo mạng thần kinh thông dụng thường không áp dụng rộng rãi cho nhiều hàm kích hoạt, đặc biệt là những hàm được sử dụng trong INRs. Trong bài báo này, chúng tôi cải tiến các phương pháp khởi tạo trước đây bằng cách đề xuất một phương pháp khởi tạo có độ biến thiên ổn định xuyên suốt các lớp và áp dụng được cho bất kỳ hàm kích hoạt nào. Chúng tôi chứng minh rằng phương pháp này tổng quát hóa nhiều phương pháp khởi tạo trước đây và thậm chí có độ ổn định tốt hơn đối với các hàm kích hoạt đã được nghiên cứu kỹ lưỡng. Chúng tôi cũng chứng minh rằng phương pháp khởi tạo của chúng tôi mang lại kết quả tốt hơn với các hàm kích hoạt INR trong nhiều phương thức tín hiệu. Cách tiếp cận của chúng tôi đặc biệt hiệu quả đối với INR Gaussian, nơi chúng tôi chứng minh rằng lý thuyết về phương pháp khởi tạo của chúng tôi phù hợp với hiệu suất nhiệm vụ trong nhiều thí nghiệm, cho phép chúng tôi đạt được những cải tiến trong tái tạo hình ảnh, âm thanh và bề mặt 3D.
