Введение
1 СУЩЕСТВУЮЩИЕ МЕТОДЫ СИНТЕЗА НС 10
1.1 Обучение НС 10
1.1.1 Формулировка задачи 10
1.1.2 Обратное распространение ошибки 11
1.1.3 Эволюционные алгоритмы и алгоритмы случайного поиска 12
1.1.4 Гибридные методы 15
1.1.5 Сравнение методов обучения НС 15
1.2 Выбор архитектуры НС 16
1.2.1 Формулировка задачи 16
1.2.2 Классификация методов выбора архитектуры НС 16
1.2.3 Статистический подход 16
1.2.4 Конструктивные методы 18
1.2.5 Методы сокращения 21
1.2.6 Эволюционные алгоритмы и алгоритмы случайного поиска 23
1.2.7 Сравнение методов выбора архитектуры НС 26
1.3 Выводы 27
2 ВЫБОР КЛАССА НС 29
2.1 Задача выбора класса НС 29
2.2 Основания для построения класса КНС 30
2.3 Формальная модель КНС 32
2.4 Свойства КНС 35
2.5 Эффективность КНС в задачах аппроксимации непрерывных функций 42
3 ПОСТАНОВКА ЗАДАЧИ СИНТЕЗА КНС 43
3.1 Задача синтеза КНС 43
3.2 Анализ задачи 44
4 РЕШЕНИЕ ЗАДАЧИ СИНТЕЗА КНС 47
4.1 Декомпозиция задачи 47
4.2 Выбор архитектуры КНС 48
4.2.1 Алгоритм имитации отжига 48
4.2.2 Настройка алгоритма 50
4.3 Обучение КНС 54
4.3.1 Подход к решению задачи 54
4.3.2 Вычисление частных производных 54
4.3.3 Алгоритм Левенберга-Марквардта 57
4.4 Экспериментальное исследование алгоритма синтеза КНС 59
5 ПОВЫШЕНИЕ ВЫЧИСЛИТЕЛЬНОЙ ЭФФЕКТИВНОСТИ 65
5.1 Метод повышения вычислительной эффективности 65
5.2 Метрика в пространстве архитектур КНС 66
5.3 Оценка расстояния между архитектурами КНС 71
5.3.1 Постановка задачи 71
5.3.2 Редукция задачи 72
5.3.3 Алгоритм вычисления расстояния 76
5.3.4 Алгоритм сопоставления внутренних нейронов 77
5.3.5 Критерий выбора сопоставляемых нейронов 78
5.3.6 Настройка параметров 82
5.3.7 Сложность и оптимальная организация вычислений 84
5.3.8 Экспериментальное исследование алгоритма вычисления расстояния 87
5.3.9 Оценка пригодности алгоритма вычисления расстояния 89
5.4 Оценка аппроксимационной способности (АС) КНС 89
5.4.1 Постановка задачи 89
5.4.2 Модель зависимости АС схожих архитектур КНС 90
5.4.3 Решение задачи 91
5.4.4 Алгоритм оценки АС 93
5.4.5 Сложность алгоритма оценки АС 94
5.4.6 Экспериментальное исследование алгоритма оценки АС 94
5.5 Модификация алгоритма синтеза КНС 96
5.5.1 Структура алгоритма 96
5.5.2 Анализ свойств модифицированного алгоритма 99
5.5.3 Экспериментальное исследование модифицированного алгоритма 100
5.6 Выводы 101
ЗАКЛЮЧЕНИЕ 103
ЛИТЕРАТУРА
