Введение
ГЛАВА 1. Архитектура интеллектуального мультимодального интерфейса 15
1.1. Постановка задачи 15
1.2. Определение интеллектуального мультимодального интерфейса
1.2.1. Пользовательские интерфейсы информационных систем 17
1.2.2. Эволюция пользовательских интерфейсов 21
1.2.3. Виды пользовательских интерфейсов 24
1.2.4. Принципы топологии пользовательских интерфейсов 28
1.2.5. Интеллектуализация пользовательского интерфейса 30
1.3. Архитектура интеллектуального мультимодального интерфейса 33
1.3.1. Архитектура интерфейса 33
1.3.2. Типы анализаторов ситуаций 41
1.3.3. Прототипирование интерфейсов 45
1.4. Аналитический обзор технологий разработки систем интеллектуального взаимодействия 48
1.4.1. Технология Gaia 48
1.4.2. Технология MaSE 50
1.4.3. Технология UML 52
1.4.4. Технология, основанная на теории графов (ТОТГ) 54
1.4.5. Технология, основанная на образцах (ТОО) 55
1.4.6. Технология, основанная на компонентах (ТОК) 56
1.4.7. Технология IDEF8 58
1.5. Выводы 61
ГЛАВА 2. Декларативно-процессная технология разработки 64
2.1. Постановка задачи 64
2.2. Определение процесса 65
2.2.1. Последовательное выполнение действий 68
2.2.2. Параллельное выполнение действий 68
2.2.3. Разветвление выполнения действия 69
2.2.4. Синхронизация выполнения действий 69
2.2.5. Слияние выполнения действий 70
2.3. Этапы формализованной разработки 71
2.3.1. Основные принципы технологии 71
2.3.2. Концептуализация 74
2.3.3. Структуризация 75
2.3.4. Бихевиоризация 76
2.3.5. Конкретизация 78
2.3.6. Спецификация 80
2.3.7. Реализация 2.4. Проверка функциональной правильности проекта ИМИ 82
2.5. Нахождение эквивалентности проектов ИМИ 85
2.6. Композиция проектов ИМИ 87
2.7. Оптимизация проекта ИМИ 89
2.8. Свойства ИМИ 2.8.1. Основные свойства 92
2.8.2. Дополнительные свойства 96
2.8.3. Проверка свойств проекта ИМИ 100
2.9. Принципы недетерминированной разработки ИМИ 103
2.10. Выводы 109
ГЛАВА 3. Формирование моделей восприятий в процессе спецификации 111
3.1. Постановка задачи 111
3.2. Захват и отслеживание на основе анализа изменений кадров в видеопотоке 114
3.3. Захват и отслеживание на основе анализа цвета 117
3.4. Захват и отслеживание на основе анализа изменений в кадрах, цвета и кластеризации 121
3.5. Захват и отслеживание на основе характерных признаков Хаара 127
3.6. Выводы 134
ГЛАВА 4. Нечеткое распознавание отношений в процессе спецификации 135
4.1. Постановка задачи 135
4.2. Отношения на восприятиях
4.2.1. Отношения на макросрезах 138
4.2.2. Отношения на макротрендах 141
4.2.3. Отношения на макротрендах и макросрезах
4.3. Процессные модели представления восприятий и поведений 148
4.4. Нечеткое процессное распознавание отношений 151
4.5. Выводы 156
ГЛАВА 5. Мультимодальное агрегирование в процессе спецификации 157
5.1. Постановка задачи 157
5.2. Операторы агрегирования 160
5.3. Агрегирование в распознавании объектов по трендам 162
5.4. Агрегирование в распознавании объектов по срезам 164
5.5. Распознавание ситуаций с использованием нечетких операторов агрегирования 167
5.6. Выводы 173
ГЛАВА 6. Распознавание жестовых модальностей 174
6.1. Постановка задачи 174
6.2. Классификация жестов человека 175
6.3. Алфавиты искусственных жестов 179
6.4. Модели распознавания
6.4.1. Скрытые Марковские модели 183
6.4.2. Нейронные сети 187
6.4.3. Байесовые сети 189
6.4.4. Другие модели
6.5. Анализ жестовых интерфейсов 192
6.6. Построение моделей динамических жестов 196
6.7. Распознавание отдельного жеста 205
6.8. Выводы 207
ГЛАВА 7. Программная реализация 208
7.1. Постановка задачи 208
7.2. Инструментарий программной реализации 209
7.3. Программная реализация технологии 214
7.3.1. Визуальный язык представления процессов 214
7.3.1. Архитектура программной системы 218
7.4. Результаты экспериментов 222
7.5. Выводы 238
Заключение и общие выводы 240
Литература 243
