Введение
1. Анализ существующих подходов к решению задачи классификации на основе обучения по прецедентам. Постановка задачи исследования 12
1.1. Содержательная постановка задачи классификации на основе обучения по прецедентам 12
1.2. Формальная постановка задачи классификации 17
1.3. Оценка качества классификатора 22
1.4. Сравнительный анализ основных моделей классификации 31
1.5. Генетические алгоритмы в задачах машинного обучения 42
1.6. Постановка задачи исследования 45
Выводы по главе 1 47
2. Разработка метода и эффективных алгоритмов построения деревьев классификации на основе генетического программирования 49
2.1. Анализ существующих алгоритмов построения деревьев
классификации как основы для предлагаемого генетического алгоритма.. 49
2.1.1. Алгоритм ID3 51
2.1.2. Алгоритм C4.5 53
2.1.3. Алгоритм CART 54
2.1.4. Результаты анализа классического метода и алгоритмов построения деревьев классификации 57
2.2. Предлагаемый метод построения деревьев классификации на основе применения генетического алгоритма комбинирования эвристик 58
2.2.1. Виды эвристик, используемые при построении дерева классификации 60
2.2.2. Выбор представления дерева классификации в виде особи генетического алгоритма 61
2.2.3. Общее описание алгоритма 62
2.2.4. Формирование начальной популяции 63
2.2.5. Оператор кроссовера 65
2.2.6. Оператор мутации 67
2.2.7. Выполнение эволюции особей. Переход к новому этапу 68
2.3. Используемые структуры данных 72
Выводы по главе 2 74
3. Реализация и анализ алгоритмов построения деревьев классификации. Вычислительный эксперимент на тестовых данных 75
3.1. Особенности реализации алгоритмов 75
3.1.1. Борьба с переобучением. Выделение тестовой и экзаменационной выборки данных 75
3.1.2. Использование скользящего контроля для оценки точности классификации 79
3.1.3. Обработка числовых значений целевых атрибутов. Дискретизация данных 84
3.2. Анализ вычислительной сложности алгоритма 88
3.2.1. Асимптотическая оценка вычислительной сложности алгоритма 89
3.2.2. Экспериментальное исследование времени исполнения алгоритма 93
3.3. Экспериментальное сравнение реализованных алгоритмов с
известными алгоритмами классификации на основе нейронных сетей 94
3.3.1. Подбор оптимальной архитектуры нейронный сети. Классификация данных с дискретными значениями целевого атрибута. 94
3.3.2. Сравнение результатов классификации при наличии пропущенных данных 97
3.3.3. Сравнение результатов классификации с числовыми значениями атрибутов 99
Выводы по главе 3 104
4. Комплекс проблемно-ориентированных программ для проведения вычислительного эксперимента. Прикладные результаты работы 106
4.1. Разработка структуры комплекса проблемно-ориентированных программ для проведения вычислительного эксперимента 106
4.1.1. Методика построения и использования классификационной модели 106
4.1.2. Структура системы анализа данных с использованием подсистемы классификации 109
4.1.3. Структура комплекса программ для проведения вычислительного эксперимента 111
4.2. Применение результатов работы для анализа данных в CRM-системе предприятия 114
4.2.1. Описание предметной области 115
4.2.2. Постановка задачи классификации, определение входных величин 118
4.2.3. Сравнение результатов с известными алгоритмами классификации 120
4.3. Применение результатов работы для анализа исполнительской дисциплины сотрудников в системе электронного документооборота 122
4.3.1. Описание предметной области 122
4.3.2. Постановка задачи классификации, определение входных атрибутов 124
4.3.3. Сравнение результатов с известными алгоритмами классификации 126
4.4. Применение результатов работы для классификации учебных задач по их сложности в системе электронного обучения 127
4.4.1. Описание предметной области 128
4.4.2. Постановка задачи классификации, определение входных атрибутов 129
4.4.3. Сравнение результатов с известными алгоритмами классификации 132
Выводы по главе 4 134
Заключение 135
Список использованных источников 136
Приложения 135
