А. Ю. Зилинберг, Ю. А. Корнеев
Факультет
«Радиотехники, электроники и связи»
КАФЕДРА БОРТОВОЙ РАДИОЭЛЕКТРОННОЙ
АППАРАТУРЫ
Методическое руководство
по выполнению лабораторных работ по курсу
«ЦИФРОВАЯ ОБРАБОТКА СИГНАЛОВ И
СИГНАЛЬНЫЕ ПРОЦЕССОРЫ В СИСТЕМАХ
ПОДВИЖНОЙ РАДИОСВЯЗИ»
Цикл лабораторных работ:
Обработка речевых сигналов в системах
подвижной радиосвязи
Санкт-Петербург
УДК 004.934.2
А. Ю. Зилинберг, Ю. А. Корнеев
В методическом руководстве представлен цикл лабораторных работ по обработке речевых сигналов, входящий в курс «Цифровая обработка сигналов и сигнальные процессоры в системах подвижной радиосвязи», оно также будет полезно студентам, изучающим цифровую обработку сигналов и методы математического моделирования в среде MatLab, в качестве учебного пособия
Выполнение студентами лабораторных работ требует от них владения начальными навыками работы с системой математического моделирования MatLab, поэтому в руководстве приведены общие сведения по использованию и программированию в данном пакете, дополнительные сведения можно получить, воспользовавшись литературой, приведенной в конце руководства.
Цикл лабораторных работ по данному курсу состоит из 6 работ, в рамках которых студенты знакомятся с современными методами и способами анализа и обработки речевых сигналов. Предполагается, что при выполнении заключительной 6-ой лабораторной работы, приобретенные навыки и знания позволят обучающемуся разработать и реализовать свой собственный алгоритм обработки фонограммы (вариант задания на реализацию алгоритма выдается преподавателем).
|
|
|
Данное руководство содержит два приложения, в первом из которых (Приложение А) имеется дополнительный расширенный список литературы по методам анализа и обработки речевых сигналов, а также работе в среде MatLab, во втором приложении (Приложение Б) описываются современные научно-исследовательские работы, проводимые на кафедре «Бортовой радиоэлектронной аппаратуры» в области систем обработки речи.
Подготовлено к публикации кафедрой “Бортовой радиоэлектронной аппаратуры” по рекомендации методической комиссии факультета "Радиотехники, электроники и связи".
Оглавление
Оглавление. 3
Список рисунков. 6
Введение. 9
1. Основы работы со средой математического моделирования МаtLab. 11
1.1. История создания и развития системы MatLab. 11
1.2. Интерфейс пользователя. 11
1.3. Типы данных в системе MatLab. 12
1.4. Переменные в системе MatLab. 14
1.5. Арифметические и логические операции в системе MatLab. 14
1.6. Массивы и матрицы в системе MatLab. 14
1.7. Использование знака «:» и множественной индексации в системе MatLab. 15
|
|
|
1.8. Операции над матрицами в системе MatLab. 16
1.9. Встроенные функции в системе MatLab. 16
1.10. Графические возможности системы MatLab. 19
1.10.1. Диаграммы векторных данных. 19
1.10.2. Гистограммы векторных данных. 21
1.10.3. Графики функций одной переменной. 21
1.10.4. Графики функций в логарифмических масштабах. 23
1.10.5. Изменение свойств линий и оформление графиков. 24
1.10.6. Графики функций двух переменных. 25
1.10.7. Вывод нескольких графиков на одни оси. 27
1.10.8. Вывод нескольких графиков в одном графическом окне. 27
1.11. Работа со звуковыми файлами в системе MatLab. 29
1.11.1. Считывание данных из wav-файлов. 29
1.11.2. Запись данных в wav-файл. 31
1.11.3. Воспроизведение звуковых сигналов. 31
1.11.4. Запись звуковых сигналов. 32
2. Лабораторная работа №1. Исследование внутренней структуры речевого сигнала 34
2.1. Методические указания к лабораторной работе. 34
2.2. Исследование структуры и временных характеристик речевых сигналов. 34
2.2.1. Ручная сегментация исследуемой фонограммы.. 34
2.2.2. Определение фонетического состава сегментов исследуемого слова. 35
2.2.3. Анализ структуры ОТ-кластеров В-сегментов разных звуков. 35
2.2.4. Измерение длительности временных сегментов разных типов (В-сегментов, Ш-сегментов, Вз-сегментов). 36
|
|
|
2.3. Программа анализа фонограмм «Sound». 37
2.3.1. Назначение программы.. 37
2.3.2. Функциональные возможности программы.. 38
3. Лабораторная работа №2. Исследование спектральных свойств речевого сигнала 49
3.1. Методические указания к лабораторной работе. 49
3.2. Комментарии по оформлению отчета к лабораторной работе. 50
3.3. Программа анализа спектров фонограмм «Спектр» (версия 4) 50
3.3.1. Назначение программы.. 50
3.3.2. Функциональные возможности программы.. 50
4. Лабораторная работа №3. Исследование корреляционных свойств речевого сигнала 54
4.1. Методические указания к лабораторной работе. 54
4.2. Комментарии к оформлению отчета по лабораторной работе. 55
4.3. Программа анализа корреляционных функций «Коррелограмма». 55
4.3.1. Назначение программы.. 55
4.3.2. Предварительный этап работы с фонограммой. 56
4.3.3. Порядок работы в программе «Коррелограмма». 57
4.3.4. Дополнительные возможности по работе с программой. 58
5. Лабораторная работа №4. Исследование VAD-алгоритма. 66
5.1. Методические указания к лабораторной работе. 66
5.2. Комментарии по оформлению отчета к лабораторной работе. 66
5.3. Исследование алгоритма VAD в программе «Коррелограмма». 67
6. Лабораторная работа №5. Исследование методов оценки основного тона
речи. 71
|
|
|
6.1. Методические указания к лабораторной работе. 71
7. Лабораторная работа №6. Моделирование алгоритмов обработки речи. 74
7.1. Методические указания к лабораторной работе. 74
7.2. Список индивидуальных заданий. 74
8. Вопросы для самоподготовки. 81
8.1. Лабораторная работа №1. 81
8.2. Лабораторная работа №2. 81
8.3. Лабораторная работа №3. 82
8.4. Лабораторная работа №4. 83
8.5. Лабораторная работа №5. 84
8.6. Лабораторная работа №6 (Индивидуальные задания) 84
Список литературы.. 85
Приложение А Список литературы и web-ресурсы по «Речевым технологиям» и среде математического моделирования «MatLab». 87
1. Список литературы по «Речевым технологиям». 87
1.1. Отечественная литература. 87
1.1.1. Общетеоретические вопросы.. 87
1.1.2. Прикладная фонетика. 88
1.1.3. Синтез речи. 89
1.1.4. Психоакустика и физиология речи. 89
1.1.5. Цифровая связь. 89
1.2. Зарубежная литература. 90
1.3. Web – ресурсы.. 91
2. Список литературы по среде математического моделирования «MatLab». 91
Приложение Б.. 97
Современные направления научно-исследовательских работ кафедры «Бортовых радиоэлектронных систем в области разработки систем обработки речи. 97
1. Основные области применения разрабатываемых алгоритмов. 97
2. Многоуровневая временная сегментация речевых сигналов. 99
3. Модификация фонограмм. 118
Список рисунков
Рис.1.1. Интерфейс среды MatLab. 12
Рис.1.2. Часть окна системы MatLab с главным меню и панелью
инструментов. 12
Рис.1.3. Классификация типов данных в системе MatLab. 13
Рис.1.4. Пример использования команды help. 17
Рис.1.5. Столбчатая диаграмма. 20
Рис.1.6. Круговая диаграмма. 20
Рис.1.7. Гистограмма вектора data. 21
Рис.1.8. График функции y(x) 22
Рис.1.9. Графики функции f (x) и g(x) 23
Рис.1.10. Графики функции f (x) и g(x) в логарифмическом масштабе оси х. 24
Рис.1.11. Графики функции температуры в течение двух дней. 25
Рис.1.12. График функции z(x,y) в виде каркасной поверхности. 26
Рис.1.13. График функции z(x,y) в виде каркасной поверхности, залитой цветом 26
Рис.1.14. Вывод графиков функции f(x) и g(x) на одни оси с помощью команды hold 27
Рис.1.15. Вывод нескольких графиков в одном окне с помощью команды subplot 28
Рис.1.16. Диапазон представлений отсчетов в системе MatLab при считывании из wav-файла. 29
Рис.1.17. Фонограмма слова «Изгородь», считанная из wav-файла. 30
Рис.1.18. Отображение фонограмма с помощью функции strips. 31
Рис.2.1. Временная разметка слова «Восемь» на кластеры, часть 1-я. 36
Рис.2.2. Временная разметка слова «Восемь» на кластеры, часть 2-я. 37
Рис.2.3. Перечень кнопок управления программой. 38
Рис.2.4. Опции закладки «Файл». 39
Рис.2.5. Выбор открываемого файла. Открываемый файл «Аккомодация». 40
Рис.2.6. Опции закладки «Фонограмма». 41
Рис.2.7. Пример отображения опций закладки «Визуализация». 42
Рис.2.8. Пример отображения опций закладки «Редактирование». 43
Рис.2.9. Пример отображения опций закладки «Настройки». 44
Рис.2.10. Фонограмма слова «Аккомодация». 45
Рис.2.11. Увеличенный фрагмент звука «А1» слова «Аккомодация». 45
Рис.2.12. Увеличенный фрагмент звуков «ЦИЯ» слова «Аккомодация». 46
Рис. 2.13. Увеличенный фрагмент звука «Ц» слова «Аккомодация». 46
Рис.2.14. Установка границ при выделении фрагмента звука «Ц». 47
Рис.2.15. Увеличенный на все окно фрагмент звука «Ц». 47
Рис.2.16. 1-ый пример выделения фрагмента на исходной фонограмме. 48
Рис.2.17. 2-ой пример выделения фрагмента на исходной фонограмме. 48
Рис.3.1. Исходная форма и перечень кнопок управления программой. 51
Рис.3.2. Пример отображения амплитудных спектров слова «Забияка» в линейном масштабе по оси ординат. 53
Рис.3.3. Примеры отображения амплитудных спектров слова «Забияка» в логарифмическом масштабе по оси ординат. 53
Рис.4.1. Применение корреляционной обработки для различения кластеров
РС.. 55
Рис.4.2. Окно предварительной фильтрации фонограммы. Открытие файла фонограммы 58
Рис.4.3. Выбор wav-файла фонограммы.. 60
Рис.4.4. ВЧ-фильтрация фонограммы.. 61
Рис.4.5. Установка границ участка фонограммы, для которого будет рассчитана коррелограмма. 61
Рис.4.6. Исследуемый сегмент в увеличенном масштабе. 62
Рис.4.7. Визуализация коррелограммы исследуемого речевого сегмента. 62
Рис.4.8. Визуализация «сечения» коррелограммы (выборочной корреляционной функции) исследуемого речевого сегмента. 63
Рис.4.9. Отображение параметров коррелограммы исследуемого участка фонограммы 63
Рис.4.10. Визуализация коррелограммы НЧ-компоненты речевого сигнала. 64
Рис.4.11. Визуализация коррелограммы ВЧ-компоненты речевого сигнала. 64
Рис.4.12. График (нижние оси) изменения параметра «Период основного тона речи» НЧ-компоненты речевого сигнала. 65
Рис.4.13. График (нижние оси) изменения параметра «Число периодов формантной компоненты (на интервале периода ОТ)» ВЧ-компоненты речевого сигнала. 65
Рис.5.1. Блок-схема алгоритма VAD.. 67
Рис.5.2. Осциллограмма сигналаY(s) 68
Рис.5.3. Гистограмма средних значений отсчетов. 69
Рис.5.4. Обнаружение речевой активности для сигнала Y(s) 69
Рис.5.5. Обнаружение речевой активности для исходного речевого сигнала. 70
Рис.6.1. Определение частоты основного тона по амплитудному спектру фонограммы 72
Рис.6.2. Автоматическое определение изменения периода основного тона фонограммы «Береза» в программе «Коррелограмма». 72
Рис.6.3. Выборочная корреляционная функция слова «Барабан». 73
Рис.Б.1.1. Основные области применения алгоритмов обработки речи. 89
Рис.Б.1.2. Классификация алгоритмов обработки речевых сигналов. 90
Рис.Б.2.1. Пример разделения фонограммы на временные сегменты: слово «Забияка» 94
Рис.Б.2.2. Пример разделения фонограммы на временные сегменты: слово «Шесть» 95
Рис.Б.2.3. Ш1-кластер звука «Ш». 95
Рис.Б.2.4. Вз-кластер звука «К». 96
Рис.Б.2.5. Классификация структур В-сегментов. 101
Рис.Б.2.6. Варианты структур В-сегментов. 102
Рис.Б.2.7. Состав возможных компонент в структуре периода ОТ. 103
Рис.Б.2.8. Бикомпонентный кластер звука «З» слова «Забияка» (НЧ + шумовая компоненты) 103
Рис.Б.2.9. Общая блок-схема обработки фонограммы: этапы алгоритмов сегментации 104
Рис.Б.2.10. Детализация 1-го этапа сегментации. 105
Рис.Б.2.11. Применение корреляционной обработки для различения кластеров РС 106
Рис.Б.2.12. Детализация состава алгоритмов обработки вокализованных сегментов (ОТ-кластеров) 107
Рис.Б.2.13. Представление фонограммы в виде кортежа кластеров разных типов 108
Рис.Б.2.14. Звук «З» в слове «Забияка». 108
Рис.Б.2.15. Детализация состава алгоритмов обработки фонограммы при сегментации 109
Рис.Б.3.1. Модификация фонограмм области применения. 110
Рис.Б.3.2. Основные этапы работы алгоритма изменения темпа произнесения. 112
Рис.Б.3.3. Использование МВС для алгоритма изменения темпа произнесения РС 113
Введение
Современный этап научно-технического прогресса невозможно представить без использования речевых технологий. «Палитра» речевых устройств и программ предоставляет самые разнообразные функциональные возможности пользователю (от управления персональным компьютером до включения зажигания двигателя автомобиля). Несмотря на то, что сферы применения алгоритмов обработки речи постоянно расширяются, в настоящее время можно выделить основные направления развития и внедрения разработок:
1) сжатие (компрессия) речи – уменьшение избыточности в речевом сигнале. Основной областью применения подобных алгоритмов являются различные системы связи, в основном с ограниченной полосой пропускания,
2) верификация и идентификация дикторов –определение характеристик голоса говорящего: в первом случае с целью подтверждения его личности, во втором для выделения его из заранее определенной группы людей (например, работников лаборатории),
3) распознавание речи – преобразование речевого акустического сигнала в слово (последовательность слов),
4) модификация фонограмм. Данное направление обработки речевых сигналов включает в себя алгоритмы модификации основных характеристик речи (например, изменение тембра говорящего, спецэффекты, изменение темпа произнесения и др.), а также алгоритмы повышения разборчивости речи (шумоочистка),
5) синтез речи – генерирование речи с помощью ЭВМ для воспроизведения ограниченного числа сообщений из базы (или словаря), а также для машинного чтения текста.
На сегодняшний день задачи анализа речи, обработки РС, синтеза новых алгоритмов составляют отдельное фундаментальное научно-исследовательское направление, находящееся на стыке самых разнообразных научных дисциплин таких, как лингвистика, психоакустика, статистический анализ, цифровая обработка сигналов, теория распознавания образов и др.
Данное руководство предназначено для выполнения студентами лабораторных работ по дисциплинам: «Цифровая обработка речевых сигналов», «Цифровая обработка сигналов и сигнальные процессоры в системах подвижной радиосвязи». Материалы руководства будут полезны студентам, изучающим математическое моделирование алгоритмов обработки речевых сигналов в среде «MatLab».
Руководство состоит из теоретической части, где содержатся начальные сведения о системе математического проектирования MatLab, и шести лабораторных работ по данному курсу. В конце руководства приводится список вопросов, рекомендованный для самоподготовки студентов к сдаче лабораторных работ.
При выполнении лабораторных работ необходимо использовать теоретический материал, содержащийся в соответствующих разделах тематической литературы, список которой имеется в руководстве. Дополнительную информацию по речевым технологиям можно получить в сети Интернет, список тематических сайтов приведен в Приложении А.
Дата добавления: 2016-01-05; просмотров: 15; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!