Адаптация информации с помощью регуляризованной энтропии с использованием сетей, учитывающих временные аспекты, для синхронного перевода речи
Author
Venue
Interspeech 2026
Abstract
Для синхронного перевода речи (SimulST) необходимо обеспечить баланс между высоким качеством перевода и низкой задержкой. В недавней работе был представлен метод REINA, который обучает политику чтения/записи на основе оценки информационного выигрыша от прослушивания большего объема аудио. Однако мы обнаружили, что политики, основанные на информации, часто не учитывают временной контекст, что приводит к тому, что политика склоняется к прослушиванию большей части аудио перед началом записи. Мы улучшаем REINA с помощью двух различных стратегий: сети с контролируемым выравниванием (REINA-SAN) и сети с расширением временных шагов (REINA-TAN). Наши результаты показывают, что, хотя оба метода значительно превосходят базовую модель и решают проблемы стабильности, REINA-TAN обеспечивает несколько более выгодную границу Парето по эффективности потоковой обработки, тогда как REINA-SAN демонстрирует большую устойчивость к «циклам чтения». При применении к Whisper оба метода улучшают границу Парето по эффективности потоковой обработки, измеряемую показателями нормализованной эффективности потоковой обработки (NoSE), на 7,1 % по сравнению с существующими конкурентными базовыми моделями.
