Введение
1. Постановка задачи выбора моделей 17
1.1. Функция регрессии и регрессионная модель 20
1.2. Гипотеза порождения данных 24
1.2.1. Дополнительные требования к данным 27
1.2.2. Экспоненциальное семейство 28
1.2.3. Нормальное распределение зависимой переменной . 28
1.2.4. Биномиальное распределение зависимой переменной . 32
1.2.5. Функция ошибки и гипотеза порождения данных . 33
1.3. Задачи регрессионного анализа 37
1.3.1. Оценка параметров модели 37
1.3.2. Выбор оптимальной модели 38
1.3.3. Оценка ковариационных матриц 39
1.3.4. Совместный выбор объектов и признаков 40
1.3.5. Выбор наиболее правдоподобной модели 40
1.3.6. Выбор смеси моделей 41
1.3.7. Нахождение инвариантов моделей 41
1.3.8. Проверка гипотезы порождения данных 42
1.4. Оценка параметров моделей 43
1.4.1. Линейные модели 43
1.4.2. Существенно нелинейные модели 44
1.4.3. Оптимизация целевой функции общего вида 46
1.4.4. Оценка параметров функции ошибки общего вида методом сопряженных градиентов 47
1.4.5. Обобщенно-линейные модели 48
1.4.6. Оптимизация многокритериальной функции ошибок . 50
1.5. Ограничения, накладываемые на множество моделей 53
1.5.1. Анализ регрессионных остатков 53
1.5.2. Адекватность регрессионной модели 56
1.5.3. Устойчивость моделей и мультиколлинеарность 59
2. Порождение моделей 68
2.1. Алгоритмы порождения моделей 72
2.1.1. Порождающие функции и их суперпозиции 72
2.1.2. Условия допустимости суперпозиций 74
2.1.3. Порождение произвольных суперпозиций 75
2.1.4. Суперпозиции с дополнительными параметрами 77
2.1.5. Порождение обобщенно-линейных моделей 77
2.1.6. Структурная сложность суперпозиций 78
2.1.7. Число суперпозиций ограниченной сложности 79
2.1.8. Стохастическое порождение суперпозиций 80
2.1.9. Стохастическая процедура порождения модели 83
2.1.10. Порождающие функции и классы моделей 84
2.1.11. Порождаемые модели 85
2.2. Упрощение суперпозиций 86
2.2.1. Порождение допустимых суперпозиций 86
2.2.2. Изоморфные суперпозиции 88
2.2.3. Преобразование суперпозиций по правилам 89
2.2.4. Выделение наибольших общих компонент дерева 92
2.2.5. Применение правил к унифицированному графу 93
2.3. Структурное обучение при порождении суперпозиций 95
2.3.1. Постановка задачи структурного обучения 95
2.3.2. Способ задания структуры регрессионной модели 96
2.3.3. Оценка вероятности переходов в дереве суперпозиции 98
2.3.4. Решение задачи структурного обучения 98
2.3.5. Процедура прогнозирования структуры модели 100
3. Сравнение элементов моделей 103
3.1. Методы эмпирического выбора признаков 105
3.1.1. Регуляризующие методы 105
3.1.2. Корреляционные методы 108
3.1.3. Прореживающие методы 114
3.1.4. Шаговые методы 117
3.2. Сходимость при последовательном добавлении признаков 118
3.2.1. Расстояние между последовательно порождаемыми моделями 119
3.2.2. Расстояние между функциями регрессии 120
3.2.3. Критерии сходимости при выборе моделей 122
3.3. Выбор признаков при последовательном порождении моделей 126
3.3.1. Процедура последовательного выбора признаков 127
3.3.2. Выбор признаков в условиях мультикорреляции 129
3.3.3. Оценка дисперсии функции ошибки 134
3.4. Сравнение и анализ методов выбора признаков 136
4. Выбор моделей 139
4.1. Cвязанный байесовский вывод при выборе моделей 139
4.1.1. Порождающие и разделяющие модели 139
4.1.2. Интегральная функция правдоподобия 141
4.1.3. Частотный и байесовский подход 141
4.1.4. Второй уровень связанного байесовского вывода 145
4.1.5. Функции правдоподобия моделей и данных 146
4.1.6. Использование байесовского вывода при выборе моделей 150
4.2. Методы аналитической оценки гиперпараметров 151
4.2.1. Процедура оценивания параметров и гиперпараметров 153
4.2.2. Аналитическая оценка ковариационных матриц общего
4.2.3. Одинаковая дисперсия элементов вектора параметров . 156
4.2.4. Независимо-распределенные элементы вектора пара-
4.2.5. Получение оценок для линейной модели 157
4.2.6. Вычисление гессиана 158
4.2.7. Аппроксимация Лапласа для оценки нормирующего коэффициента 159
4.2.8. Метод Монте-Карло сэмплирования функции ошибки . 160
4.2.9. Оценка структурных параметров методом скользящего контроля 162
4.2.10. Анализ метода оценки ковариационных матриц 163
4.3. Оценка гиперпараметров для случая линейных моделей 167
4.3.1. Вычисление производной функции правдоподобия мо-
4.3.2. Отбор шумовых и коррелирующих признаков 170
4.4. Выбор многоуровневых моделей 173
4.4.1. Выбор модели и фильтрация объектов 174
4.4.2. Алгоритм выбора многоуровневых моделей 175
4.5. Маргинальные смеси моделей 176
4.5.1. Смеси линейных моделей 176
4.5.2. Смеси обобщенно-линейных моделей 177
4.5.3. Иллюстрация: прогнозирование периодических временных рядов 179
5. Выбор моделей для данных в разнородных шкалах и экспертных оценок 181
5.1. Регрессионная модель согласования экспертных оценок 182
5.1.1. Базовая модель построения интегральных индикаторов 183
5.1.2. Критерий наибольшей информативности 184
5.1.3. Метрический метод построения модели 184
5.1.4. Расслоение Парето 184
5.2. Криволинейные линейные методы согласования экспертных
5.2.1. Экспертно-статистический метод 186
5.2.2. Линейное согласование экспертных оценок 187
5.2.3. Квадратичное согласование экспертных оценок 189
5.2.4. Монотонное согласование экспертных оценок 192
5.2.5. Криволинейная регрессия для согласования экспертных оценок 194
5.3. Согласование экспертных оценок в ранговых шкалах 196
5.3.1. Постановка задачи 196
5.3.2. Отображение и пересечение многогранных конусов 198
5.3.3. Уточнение оценок в случае непересекающихся конусов 200
5.4. Устойчивость и регуляризация при выборе моделей экспертных
оценок 201
5.4.1. Получение непротиворечивых экспертных оценок 201
5.4.2. Интегральные индикаторы, устойчивые к возмущению матрицы описаний 202
5.4.3. Регуляризация при согласовании экспертных оценок 202
5.4.4. Устойчивые интегральные индикаторы с выбором опорного множества описаний объектов 204
5.4.5. Построение коллаборативного интегрального индикатора 208
5.5. Порядковая классификация объектов по частично упорядочен
ным множествам 213
5.5.1. Матрица отношения порядка 215
5.5.2. Парето-классификация для случая двух классов 217
5.5.3. Построение набора Парето-оптимальных фронтов 219
5.5.4. Классификация для случая двух классов 221
5.5.5. Приведение выборки к разделимой 222
5.5.6. Монотонная классификация 223
6. Анализ прикладных задач 227
6.1. Анализ постановок прикладных задач с использованием порож дающих методов 228
6.1.1. Прогнозирование квазипериодических временных рядов 228
6.1.2. Векторная авторегрессия и сглаживание 234
6.1.3. Построение криволинейных моделей 238
6.1.4. Порождение нелинейных моделей для оценки вола-тильности случайных процессов 240
6.1.5. Использование параметров модели в качестве независимых переменных 242
6.2. Разметка временных рядов в задачах прогнозирования 246
6.2.1. Локальное прогнозирование и аппроксимация временных рядов 246
6.2.2. Нахождение локального прогноза 246
6.2.3. Кусочно-линейная аппроксимация 248
6.2.4. Сегментация фазовой траектории 249
6.2.5. Прогнозирование размеченных апериодических временных рядов 251
6.3. Кластеризация с использованием наборов парных расстояний в
ранговых шкалах 253
6.3.1. Функции расстояния между словами 254
6.3.2. Описание алгоритма кластеризации -сетью 257
6.3.3. Выбор точек для -сети 258
6.3.4. Поиск метрического сгущения 260
6.4. Прямая и обратная задача авторегрессионного прогнозирования 265
6.4.1. Модель управления с обратной связью 265
6.4.2. Векторная авторегрессионная модель 269
6.4.3. Модель субъекта управления 272
6.4.4. Нахождение оптимального управляющего воздействия 272
Заключение 278
Список основных обозначений
