Введение
Глава 1. Аналитический обзор ассистивных технологий и человеко машинных интерфейсов 28
1.1. Анализ проблеми постановка задачи 28
1.2. Систематизация ассистивных информационных средств и технологий 34
1.3. Этапы развития человеко-машинных интерфейсов 50
1.4. Концептуальная модель универсальной ассистивной информационной технологии с аудиовизуальными интерфейсами 54
1.5. Выводы по главе 1 61
Глава 2. Модели и методы распознавания аудиовизуальной русской речи 64
2.1. Анализ проблем автоматического распознавания речи 64
2.2. Обзор подходов и способов многомодального распознавания речи... 67
2.3. База данных аудиовизуальной русской речи 72
2.4. Автоматическая система распознавания аудиовизуальной русской речи 79
2.4.1. Архитектура многомодального распознавателя речи 79
2.4.2. Параметрическое представление звучащей речи 81
2.4.3. Параметрическое представление визуальной речи 84
2.4.4. Методы моделирования аудиовизуальных модальностей речи
2.5. Показатели оценки систем распознавания речи 98
2.6. Экспериментальные исследования и анализ результатов 105
2.7. Выводы по главе 2 117
Глава 3. Компьютерная система синтеза аудиовизуальной русской речи по тексту 119
3.1. Анализ моделей и методов синтеза аудиовизуальной речи 119
3.2. Архитектура синтезатора аудиовизуальной русской речи 124
3.3 Компьютерный синтез звучащей и видимой речи 126
3.4. Метод моделирования асинхронности аудиовизуальных модальностей речи 135
3.5. Экспериментальные исследования и анализ результатов 146
3.6. Выводы по главе 3 156
Глава 4. Универсальный интерфейс и система синтеза аудиовизуальной речи и элементов русского жестового языка 159
4.1. Анализ специфики и характеристик русского жестового языка глухих людей 159
4.1.1. Характеристика разговорного жестового языка 161
4.1.2. Область применения и специфика дактильной речи
4.2. Информационные ресурсы и словари русского жестового языка 171
4.3. Компьютерный синтезатор русского жестового языка по тексту 175
4.3.1. Основные требования к системе синтеза жестовой и дактильной речи 175
4.3.2. Формализация и представление машинного словаря языка жестов 177
4.3.3. Машинный синтез элементов русского языка жестов посредством жестового аватара 183
4.4.4. Многомодальная система синтеза аудиовизуальной речи и жестов 186
4.5. Выводы по главе 4 196
Глава 5. Многомодальный человеко-машинный интерфейс и система для бесконтактной работы с компьютером 199
5.1 Анализ способов и интерфейсов бесконтактного взаимодействия с компьютером 199 5.2. Ассистивная многомодальная система для бесконтактной работы с
компьютером 203
5.2.1. Бесконтактный человеко-машинный интерфейс 203
5.2.2. Архитектура ассистивной многомодальной системы 205
5.2.3. Распознавание речевых команд пользователя 206
5.2.4. Видеоанализ движений головы пользователя 210
5.2.5. Метод синхронизации и объединения аудио- и видеомодальностей 219
5.3. Экспериментальные исследования и анализ результатов 222
5.3.1. Методика количественной оценки указательных человеко-машинных интерфейсов 222
5.3.2. Анализ и сравнение производительности бесконтактного человеко-машинного взаимодействия 225
5.4. Выводы по главе 5 235
Глава 6. Многомодальные человеко-машинные интерфейсы в ассистивном интеллектуальном пространстве 237
6.1. Анализ моделей и прототипов ассистивных интеллектуальных пространств 237
6.2. Методы и алгоритмы обработки аудиовизуальной информации в модели интеллектуального пространства 246
6.2.1. База данных акустических событий 248
6.2.2. Методы распознавания аудиоинформации и речи 251
6.2.3. Методы анализа видеоинформации в модели 254
6.3. Экспериментальные исследования и анализ результатов 259
6.4. Программно-аппаратный комплекс универсальной ассистивной информационной технологии 262
6.5. Выводы по главе 6 266
Заключение 268
Список сокращений и условных обозначений 271
Словарь терминов 273
Список литературы
