Содержимое этого сайта переведено с помощью искусственного интеллекта (ИИ) или технологии машинного перевода и может содержать ошибки.

Skip to content
Speech & Audio

Адаптация информации с помощью регуляризованной энтропии с использованием сетей, учитывающих временные аспекты, для синхронного перевода речи

View Publication

Author

Джозеф Лю, Намир Хиршкинд, Сяо Ю, Махеш Кумар Нандвана

Venue

Interspeech 2026

Abstract

Для синхронного перевода речи (SimulST) необходимо обеспечить баланс между высоким качеством перевода и низкой задержкой. В недавней работе был представлен метод REINA, который обучает политику чтения/записи на основе оценки информационного выигрыша от прослушивания большего объема аудио. Однако мы обнаружили, что политики, основанные на информации, часто не учитывают временной контекст, что приводит к тому, что политика склоняется к прослушиванию большей части аудио перед началом записи. Мы улучшаем REINA с помощью двух различных стратегий: сети с контролируемым выравниванием (REINA-SAN) и сети с расширением временных шагов (REINA-TAN). Наши результаты показывают, что, хотя оба метода значительно превосходят базовую модель и решают проблемы стабильности, REINA-TAN обеспечивает несколько более выгодную границу Парето по эффективности потоковой обработки, тогда как REINA-SAN демонстрирует большую устойчивость к «циклам чтения». При применении к Whisper оба метода улучшают границу Парето по эффективности потоковой обработки, измеряемую показателями нормализованной эффективности потоковой обработки (NoSE), на 7,1 % по сравнению с существующими конкурентными базовыми моделями.