Введение
ГЛАВА 1. Нейросетевые методы решения задачи классификации 10
1.1. Постановка задачи классификации и основные определения 10
1.2. Определение нейронной сети 13
1.3. Градиентные методы обучения нейронной сети 19
1.3.1. Выбор начальной точки 21
1.3.2. Вычисление градиента функции ошибки 22
1.3.3. Метод наискорейшего спуска 25
2.3.1. Ньютоновская стратегия 26
1.3.1. Метод сопряженных градиентов 27
1.3. 6. Определение величины шага в направлении минимизации 27
1.3. 7. Проблемы использования классических алгоритмов 2В
1.4. Вероятностные нейронные сети 32
1.4.1. Радиальная нейронная сеть 32
1.4.2. Обучение сети 34
1.5. Автоассоциативная сеть Хопфилда 36
1.5.1. Принцип работы сети Хопфилда 37
1.5.2. Обучение сети Хопфилда 38
1.5.3. Сравнение сети Хопфилда с сетями прямого распространения 40
1.6. Метод опорных векторов 4І
1.6.1. Случай линейно-разделимой обучающей выборки 42
1.6.2. Линейно-неразделимые обучающие выборки. Ядра 44
1.7. Выводы по первой главе 46
ГЛАВА 2. Алгоритм синтеза нейронной сети с адаптивной топологией 49
2.1. Идея алгоритма синтеза нейронной сети 49
2.2. Алгоритм построения первого слоя 59
2.3. Построение нейронов очередного слоя 60
2.і. Альтернативные методы синтеза нейрона 62
2.4.1. Алгоритмы, использующие меры расстояния между РКП 63
2.4.2. Исследование возможности замены булевых переменных на вещественные 66
2.4.3. Использование множественной регрессии для синтеза нейрона 67
2.5. Применение метода ветвей и границ для синтеза сети 69
2.5.1. Общая постановка задачи , 70
2.5.2. Вычисление оценки решения 71
2.5.3. Рекорды 71
2.5.4. Отсеивание бесперспективных ветвей 72
2.5.5. Критерий оптимальности и признак недопустимости задачи. 72
2.5. 6. Расширение неполного решения и уточнение оценок 73
2.5. 7. Разбиение множества возможных решений 77
2.5. 8. Алгоритм построения нейросети 77
2.6. Эффект появления лишних нейронов 79
2.7. Обобщение метода для задач классификации с несколькими (более двух) классами 81
2.7.1. Постановка задачи 81
2. 7.2. Последовательный метод синтеза классификатора 82
2.7.3. Параллельный метод синтеза классификатора 83
2.7.4. Выбор метода синтеза классификатора 85
2.8. Выводы по второй главе 88
ГЛАВА 3. Инженерная реализация алгоритма 90
3.1. Архитектура системы 90
3.2. Функциональные возможности клиентского приложения 91
3.2.1. Работа с обучающей выборкой 31
3.2.2. Синтез нейронной сети 93
3.2.3. Визуализация результата 96
3.3. Архитектура клиентского приложения 98
3.3.1. Слой процессора нейронной сети 99
3.3.2. Слой исполнительной среды 102
3.3.3. Организация модульности алгоритмов синтеза нейрона 104
3.3.4. Слой представления 107
3.3.5. Архитектура базовых алгоритмов синтеза 108
3.4. База данных моделей 109
3.5. Компонентная версия пакета 112
3.6. Эксперимент на двумерных обучающих выборках 115
3.7. Выводы по третьей главе 118
ГЛАВА 4. Практическое применение алгоритма 120
4.1. Вычислительный эксперимент. Решение задачи классификации символов 120
4.1.1. Постановка задачи 12D
4.1.2. Формирование обучающей выборки 120
4.1.3. Метод синтеза отдельного нейрона 121
4.1.4. Алгоритм LIPSOL 123
4.1.5. Тестирование алгоритма 126
4.1.6. Технология проведения эксперимента 127
4.1.1. Обучение сети классическими методами 129
4.1.8. Результаты 130
4.2. Использование предложенного метода для восстановления показаний отказавшего датчика в реакторе ядерной энергетической установки 137
4.2.1. Устройство ядерной энергетической установки 138
4.2.2. Принцип построения нейросетевой системы восстановления показаний отказавшего датчика 141
4.2.3. Обучение сети 144
4.2.4. Результаты 146
4.3. Выводы по четвертой главе 149
Заключение 150
