Статья: МЕТОД УЛУЧШЕНИЯ КАЧЕСТВА РЕЧИ НА ОСНОВЕ ГЛУБОКОЙ НЕЙРОННОЙ СЕТИ С ПРЕОБРАЗОВАНИЕМ СТРУКТУРИРОВАННОГО ПРОСТРАНСТВА СОСТОЯНИЯ

В данной работе предложен новый метод улучшения качества зашумленных речевых сигналов. В его основе лежит двухэтапная схема, с первым этапом широкополосной обработки аудиосигнала и вторым этапом обработки отдельных частотных полос. Преобразование сигнала осуществлялось над оконным Фурье-разложением обрабатываемого сигнала. На каждом этапе задействованы слои, моделирующие структурированное пространство состояний (S4), хорошо зарекомендовавшие себя при обработке и предсказании длинных временных рядов. За счет их применения уменьшилось число обучаемых параметров нейронной сети без потери качества работы. Длительность процесса обучения в расчете на одну эпоху уменьшилась по сравнению с рекуррентными сетями из-за применения сверточной формы S4-преобразований. Проведена апробация предложенного метода. Нейронная сеть с S4-преобразованиями реализована на языке Python с применением библиотеки глубокого обучения PyTorch. Обучение сети проведено на наборе данных DNS Challenge 2020. Для тестирования работы на основе того же набора данных сгенерирован набор тестовых примеров, включающих в себя различные классы шумовых добавок. Продемонстрировано превосходство предложенного метода в целом по сравнению с аналогичными решениями, основанными на применении слоев рекуррентных преобразований. Проведен анализ того, какие классы шумов более эффективно очищаются из обрабатываемого сигнала.