Введение
Глава 1. Анализ существующих подходов формирования визуальных понятий 15
1.1. Подходы на основе аннотированных и неаннотированных данных 17
1.2. Подходы на основе использования различных каналов информации 21
1.3. Подходы на основе различных представлений изображений
1.3.1. Подход на основе признаковых представлений 26
1.3.2. Подход на основе искусственных нейронных сетей 29
1.3.3. Подход на основе иерархических представлений 30
1.4. Вероятностный подход 32
Выводы по первой главе 38
Глава 2. Синтез генеративных и дискриминантных методов формирования визуальных понятий 40
2.1. Описание генеративных и дискриминантных методов 40
2.1.1. Введение. Общие положения 40
2.1.2. Оценка параметров модели источника 41
2.1.3. Идентификация модели источника наблюдательных данных 46
2.1.4. Скрытые переменные 51
2.1.5. Генеративные и дискриминантные методы 53
2.2. Разработка генеративных и дискриминантных методов для различных этапов формирования визуальных понятий 54
2.2.1. Метод выделения объектов интереса на изображении 55
2.2.2. Метод построения дескриптора визуальных слов 59
2.2.3. Метод установления зависимости между визуальными и лексическими единицами 62
Выводы по второй главе 65
Глава 3. Разработка алгоритмов для системы обучения визуальным понятиям 67
3.1. Общее описание системы 67
3.2. Основные этапы работы системы 70
3.3. Алгоритм формирования словаря визуальных слов з
3.4. Алгоритм разметки сцен кадра 72
3.5. Алгоритм выделения ключевых точек на основе словаря визуальных слов (алгоритм детектора ключевых точек) 74
3.6. Алгоритм сегментации на основе словаря визуальных слов 78
3.7. Алгоритм отбора ключевых точек на основе поля оптического потока 81
3.8. Алгоритм лексико-семантического обучения 82
3.9. Алгоритм установления зависимости визуальных слов и лексем по заданной сцене 85
3.10. Алгоритм распознавания визуальных понятий 86
Выводы по третьей главе 88
Глава 4. Система обучения визуальным понятиям 90
4.1. Общее описание режимов работы системы 90
4.2. Режимы работы СОВП
4.2.1. Основные настройки СОВП 98
4.2.2. Режим раннего зрительного обучения 100
4.2.3. Режим вторичного обучения 100
4.2.4. Режим распознавания 102
4.2.5. Графическое отображение результатов обучения 103
Выводы по четвертой главе 105
Глава 5. Экспериментальное исследование системы обучения визуальным понятиям
106
5.1. Оценка качества формирования словаря визуальных слов 107
5.2. Оценка стабильности детектора визуальных слов 110
5.3. Оценка результатов лексико-семантического обучения 112
5.4. Оценка результатов распознания
5.4.1. Распознавание с использованием режимов детектора SURFWORD и VISWORD 120
5.4.2. Оценка результатов распознавания при использовании размеченных данных 134
Выводы по пятой главе 136
Заключение 138 Список литературы 140
