Введение
ГЛАВА 1 Обзор систем обнаружения знаний и систем извлечения знаний 11
1.1 Системы поддержки принятия решений 11
1.2 Нерешенные проблемы баз данных 13
1.3 Процесс обнаружения знаний 16
1.4 Задачи обнаружения знаний 17
1.5 Методология обнаружения знаний 19
1.6 Сравнение аналитических систем различного типа 24
1.6.1 Предметно-ориентированные аналитические системы (технический анализ) 24
1.6.2 Статистические пакеты 25
1.6.3 Нейронные сети 25
1.6.4 CBR (системы рассуждения на основе аналогичных случаев) 25
1.6.5 Деревья решений 26
1.6.6 Генетические алгоритмы 26
1.6.7 Нелинейные регрессионные методы (методы группового учёта атрибутов) 27
1.7 Описание дерева решений 27
1.8 Основные алгоритмы, использующие деревья решений 30
1.8.1 Алгоритм ЮЗ 30
1.8.2 Определения ; 33
1.8.3 Использование критерия прироста информативности Gain Ratio 35
1.8.4 Алгоритм С4.5 37
1.9 Методы сокращения решающих деревьев 39
1.9.1 Сокращение, уменьшающее ошибки (Reduced Error Pruning) 40
1.9.2 Сокращение по пессимистической ошибке (Pessimistic Error Pruning ) 41
1.9.3 Сокращение по минимальной ошибке (Minimum Error Pruning) 43
1.9.4 Сокращение по критическому значению (Critical Error Pruning) 44
1.9.5 Сокращение, основанное на ошибках (Error-Based Pruning) 45
1.10 Выводы по главе 1 47
Глава 2 Индуктивное построение понятий при "зашумленных" данных 48
2.1 Признаковое описание объекта 48
2.2 Проблемы, возникающие при работе с "зашумлёнными" данными 49
2.2.1 Ограниченная информация 50
2.2.2 Искажённая информация 51
2.2.3 Большой размер баз данных 52
2.2.4 Изменение баз данных со временем 53
2.3 Проблема моделирования шума в данных 54
2.3.1 Внесение шума в поле признака, содержащего дискретные значения 55
2.3.2 Внесение шума в поле признака, содержащего непрерывные значения 56
2.4 Анализ распределения значений для непрерывных признаков 57
2.4.1 Оценка математического ожидания, дисперсии, функции распределения и плотности 57
2.4.2 Распределения, отличные от равномерных 61
2.5 Моделирование шума в обучающей выборке 68
2.6 Выводы по главе 2 78
Глава 3 Методы построения деревьев решений при наличии шума во входных данных 79
3.1 Постановка задачи индуктивного построения понятий при отсутствии шума и при наличии шума 79
3.2 Алгоритм предсказания неизвестных значений по методу ближайшего соседа 83
3.3 Использование алгоритма восстановления неизвестных значений при построении дерева решений 90
3.4 Описание работы алгоритмов ID3 и С4.5 в сочетании с алгоритмами восстановления 97
3.5 Описание метода сокращения решающих деревьев 100
3.6 Выводы по главе 3 104
Глава 4 Программная реализация разработанного метода 105
4.1 Основные функции, выполняемые программой 105
4.2 Структура программного комплекса 106
4.3 Описание программы 107
4.4 Эксперименты на тестовых данных 113
4.4.1 Эксперименты на данных "задач монахов" 114
4.4.2 Медицинские данные 115
4.4.3 Данные проекта StatLog 116
4.4.4 Другие наборы данных 117
4.5 Методы проверки 118
4.5.1 Перекрестная проверка 119
4.5.2 Проверка исключением одного примера 119
4.5.3 Метод бутстрена 120
4.6 Методика проведения эксперимента по работе алгоритма IDTUV 121
4.7 Выводы по главе 4 126
Заключение 127
Список литературы
