Введение
Глава 1. Организация и особенности человеко-машинного взаимодействия в интерактивных многомодальных приложениях 18
1.1. Взаимодействие пользователя с окружающим интеллектуальным пространством 18
1.2. Специфика многомодальных интерфейсов 23
1.3. Анализ существующих интерактивных приложений с речевым и многомодальным интерфейсами 37
1.4. Основные проблемы и способы обработки речевого сигнала 53
1.5. Анализ методов дистанционной обработки русской речи 64
1.6. Выводы по 1 главе 74
Глава 2. Методы проектирования и тестирования многомодальных интерфейсов 76
2.1. Основные характеристики многомодальных интерфейсов 76
2.2. Особенности выбора многомодальных интерфейсов 85
2.3. Конфигурирование программно-аппаратных ресурсов при проектировании интерактивных многомодальных приложений 93
2.4. Основные архитектуры многомодальных приложений 105
2.5. Методика поэтапного внедрения речевых и многомодальных интерфейсов 116
2.6. Выводы по 2 главе 128
Глава 3. Методы многоканальной обработки речи и пространственной локализации диктора 131
3.1. Специфика дистанционной записи и распознавания речи 131
3.2. Метод спектрально-пространственной обработки звуковых сигналов .136
3.3. Метод определения речевой активности в многоканальном звуковом потоке 147
3.4. Выводы по 3 главе 155
Глава 4. Модель представления словаря распознавателя на базе двухуровневого морфофонемного префиксного графа 157
4.1 Методика построения двухуровневого морфофонемного префиксного графа (ДМПГ) 157
4.2 Сравнительный анализ моделей представления словаря 174
4.3 Экспериментальная проверка ДМПГ и базовых моделей представления словаря распознавателя 183
4.4 Модель декодирования речевого сигнала на базе ДМПГ 188
4.5. Выводы по 4 главе 213
Глава 5. Применение разработанных методов дистанционной обработки русской речи в многомодальных интерактивных приложениях 215
5.1. Программное обеспечение разработки многомодального интерфейса .215
5.2. Многомодальный информационно-справочный киоск 220
5.3. Управление оборудованием интеллектуального зала 237
5.4. Многоканальная система протоколирования совещания в интеллектуальном зале 258
5.5. Выводы по 5 главе 277
Заключение 281
Литература 284
Приложение 1. Анализ научно-исследовательских проектов по проблемам человеко-машинного взаимодействия, проведенных по рамочным программам Европейского сообщества FP6 и FP7 305
Приложение 2. Копии актов внедрения результатов диссертационной работы 318
