Введение
1 Проблема селективного комбинирования признаков в линейных методах обучения распознаванию образов 16
1.1 Линейный подход к обучению распознаванию двух классов объектов 16
1.1.1 Разделяющая гиперплоскость в линейном пространстве признаков 16
1.1.2 Концепция оптимальной разделяющей гиперплоскости для обучающей совокупности: Метод опорных векторов 18
1.1.3 Вероятностная интерпретация метода опорных векторов 22
1.2 Проблема переобучения при обучении в признаковом пространстве большой размерности 23
1.2.1 Природа переобучения в линейном пространстве признаков объектов 23
1.2.2 Существующие способы отбора признаков в методе опорных векторов 25
1.2.2.1 1-norm SVM (Lasso SVM) 25
1.2.2.2 Doubly Regularized SVM (Elastic Net SVM) 26
1.2.2.3 Elastic SCAD SVM 28
1.2.3 Свойства методов отбора признаков и недостаточность существующих подходов 29
1.2.3.1 Механизм селективности отбора признаков 29
1.2.3.2 Эффект группировки признаков 35
1.3 Предлагаемая концепция: Байесовский подход к одновременному построению разделяющей гиперплоскости и выбору подмножества релевантных признаков 36
1.4 Основные задачи исследования 37
2 Байесовский подход к поиску оптимальной разделяющей гиперплоскости 38
2.1 Параметрическое семейство пары плотностей распределения, определяемое гиперплоскостью 38
2.2 Априорное распределение параметров гиперплоскости 41
2.3 Общий байесовский критерий обучения для параметрического семейства пары плотностей распределения 41
2.4 Апостериорные вероятности классов объектов 43
2.5 Частные априорные модели разделяющей гиперплоскости 45
2.5.1 Классический метод опорных векторов: Частный случай нормальных априорных распределений компонент направляющего вектора с одинаковыми дисперсиями 45
2.5.2 Известные методы 1-norm SVM (Lasso SVM) и Doubly Regularized SVM (Elastic Net SVM) 45
3 Байесовский принцип управления селективностью комбинирования признаков 48
3.1 Обобщение метода опорных векторов: Частный случай нормальных априорных распределений компонент направляющего вектора с разными известными дисперсиями 48
3.2 Метод релевантных признаков с регулируемой селективностью 51
3.2.1 Параметрическое семейство априорных нормальных-гамма распределений компонент направляющего вектора со случайными дисперсиями 51
3.2.2 Критерий обучения 53
3.2.3 Параметры гамма распределения: Управление селективностью 53
3.2.4 Эквивалентный критерий обучения 58
3.2.5 Алгоритм обучения 58
3.3 Метод опорных признаков с регулируемой селективностью 60
3.3.1 Параметрическое семейство составных априорных распределений для компонент направляющего вектора 60
3.3.2 Критерий обучения 61
3.3.3 Двойственная задача обучения 62
3.3.4 Итоговое решающее правило и опорные признаки 65
3.3.5 Зависимость множества опорных признаков от параметра селективности критерия обучения 67
3.4 Теоретическое исследование механизма селективности и эффекта группировки методов релевантных и опорных признаков 68
3.4.1 Механизм селективности отбора признаков 68
3.4.2 Эффект группировки признаков 72
3.5 Выбор оптимального уровня селективности: Метод скользящего контроля 75
4 Экспериментальное исследование методов релевантных и опорных признаков с управляемой селективностью 76
4.1 Экспериментальное исследование на модельных данных 76
4.1.1 Эксперимент A: Структура модельных данных и результаты 76
4.1.2 Эксперимент B: Структура модельных данных и результаты 84
4.1.3 Эксперимент C: Структура модельных данных и результаты 86
4.1.4 Эксперимент D: Структура модельных данных и результаты 88
4.2 Экспериментальное исследование на данных прикладной задачи 90
4.3 Обсуждение результатов экспериментов 92
Заключение 95
Приложение: доказательства теорем 96
