Введение
ГЛАВА 1. Проблема сокращения размерности в задаче обучения класси фикации 14
1.1 Постановка задачи обучения классификации 14
1.2 Задача сокращения размерности 16
1.3 Методы извлечения признаков 19
1.3.1 Метод главных компонент 19
1.3.2 Метод центроидиых компонент 23
1.3.3 Методы экстремальной группировки параметров 24
ГЛАВА 2. Современное состояние проблемы выбора признаков в задачах классификации 28
2.1 Основные постановки задачи выбора признаков 28
2.1.1 Виды оценок качества подмножества признаков 29
2.2 Методы оценки вероятности ошибки распознавания 33
2.2.1 Resubstitution метод 36
2.2.2 Holdout метод 37
2.2.3 Cross-validation метод 38
2.2.4 Jackknife метод 40
2.2.5 Bootstrap метод 41
2.3 Вычислительная сложность задачи выбора признаков 42
2.4 Обзор алгоритмов выбора признаков 44
2.4.1 Организация пространства поиска 46
2.4.2 Способ движения в пространстве поиска 48
2.4.3 Описание основных алгоритмов выбора признаков 50
ГЛАВА 3. Алгоритмы выбора признаков на основе метода опорных век торов 55
3.1 Метод опорных векторов 55
3.2 Алгоритмы выбора признаков на основе SVM 66
3.2.1 Градиентный алгоритм Вапника и др 66
3.2.2 Алгоритм выбора признаков для задачи SVM в многокритериальной постановке 70
ГЛАВА 4. Минимаксный подход к построению оптимального классификатора методом SVM с одновременным выбором оптимального под пространства признаков . 81
4.1 Дискретная постановка задачи выбора признаков 83
4.2 Непрерывная постановка задачи выбора признаков 88
4.3 Выпуклая минимаксная постановка задачи выбора признаков . 90
4.4 Седловая постановка задачи выбора признаков 93
4.5 Алгоритм поиска седловой точки 100
4.5.1 Вычисление параметра шага алгоритма а 113
4.5.2 Быстрое вычисление проекций 115
4.6 Псевдокод седлового алгоритма выбора признаков 120
ГЛАВА 5. Экспериментальные результаты 123
5.1 Схема тестирования алгоритма выбора признаков 123
5.2 Распознавание искусственных данных 126
5.3 Распознавание звуков английского языка 129
5.4 Диагностика заболевания раком женской груди 133
5.5 Эффективность вычисления проекций методом Дейкстры 138
5.6 Анализ результатов и направление дальнейшей работы 140
Заключение 143
