Содержание
Введение ........................................................................................................................ 5
1 Системный анализ многоагентных гибридных интеллектуальных систем ...... 30
1.1 Основные области применения наземных робототехнических
комплексов ............................................................................................................... 30
1.2 Анализ структуры интеллектуального агента ............................................... 35
1.3 Системный анализ альтернативных методов, позволяющих повысить
эффективность управления МАС ......................................................................... 53
1.4 Постановка научной задачи исследования ..................................................... 68
1.5 Выводы ............................................................................................................... 71
2 Методы и алгоритмы подсистем машинного зрения интеллектуальных
агентов ......................................................................................................................... 73
2.1 Архитектура подсистемы машинного зрения ................................................ 73
2.2 Метод интеллектуального анализа данных из внешнего трехмерного
окружающего пространства агентов ..................................................................... 77
2.3 Архитектура блока трехмерной реконструкции ............................................ 83
2.4 Алгоритмы функционирования и архитектура блока интеллектуального
анализа трехмерных сцен ....................................................................................... 90
2.5 Выводы ............................................................................................................. 101
3 Архитектура интеллектуальных многоагентных систем, основанных на
применении иерархического и многоагентного обучения с подкреплением .... 103
3.1 Концептуальная модель интеллектуальной системы, реализованной на
основе иерархического и многоагентного обучения с подкреплением .......... 103
3.2 Математическая модель интеллектуальной системы, реализованной на
основе иерархического и многоагентного обучения с подкреплением .......... 110
3.3 Архитектура интеллектуальной системы, основанной на применении
иерархического и многоагентного обучения с подкреплением ....................... 122
3.4 Архитектура интеллектуальных агентов ...................................................... 130
3.5 Выводы ............................................................................................................. 136
4 Методы реализации коллективного взаимодействия интеллектуальных агентов
на основе иерархического и многоагентного обучения с подкреплением ........ 137
4.1 Задача реализации поведенческих стратегий агентов многоагентных
интеллектуальных систем .................................................................................... 137
4.2 Метод сегментации макродействий выполняемых интеллектуальными
агентами в процессе иерархического обучения с подкреплением .................. 143
4.3 Классификация агентов и получаемого ими опыта .................................... 148
3
4.4 Метод обмена опытом между интеллектуальными гетерогенными
агентами ................................................................................................................. 156
4.5 Выводы ............................................................................................................. 169
5 Механизм коллективного взаимодействия интеллектуальных агентов в
централизованных и децентрализованных многоагентных системах в процессе
иерархического обучения с подкреплением ......................................................... 170
5.1 Алгоритм обучения с подкреплением для децентрализованных
многоагентных систем .......................................................................................... 170
5.2 Алгоритм обучения с подкреплением для сверх централизованных
многоагентных систем, основанный на расчете коллективного
подкрепления ......................................................................................................... 179
5.3 Алгоритм обучения с подкреплением для централизованных
многоагентных систем, основанный на наличии «агента-менеджера» .......... 187
5.4 Гибридный алгоритм формирования кратчайшей траектории
интеллектуальным агентом .................................................................................. 202
5.5 Выводы ............................................................................................................. 207
6 Моделирование процесса функционирования многоагентной
интеллектуальной системы, основанной на применении иерархического и
многоагентного обучения с подкреплением ......................................................... 211
6.1 Методика оценки эффективности интеллектуальной многоагентной
системы, основанной на применении иерархического и многоагентного
обучения с подкреплением. Архитектура интеллектуальной иерархической
многоагентной системы (ИИМАС) для обучения и управления группой
агентов .................................................................................................................... 211
6.2 Оценка алгоритмов подсистемы машинного зрения .................................. 219
6.3 Компьютерное и численное моделирование процесса функционирования
многоагентной интеллектуальной системы, основанной на применении
иерархического и многоагентного обучения с подкреплением. Оценка
полученных результатов ...................................................................................... 224
6.4 Анализ результатов эксперимента ................................................................ 242
6.5 Выводы ............................................................................................................. 245
Заключение ............................................................................................................... 249
Список сокращений и условных обозначений ...................................................... 252
Словарь терминов .................................................................................................... 254
Список литературы .................................................................................................. 259
Приложение А Аналитический обзор многоагентных гибридных
интеллектуальных систем ....................................................................................... 291
4
Приложение Б Анализ методов и алгоритмов реализации подсистем машинного
зрения агентов многоагентных гибридных интеллектуальных информационных
систем, предназначенных для обработки изображений....................................... 379
Приложение В Предложенная структура Mask R-CNN, применяемая для
идентификации и маскирования (выделения точек) объектов............................ 420
Приложение Г Подробное описание методики оценки эффективности
интеллектуальной многоагентной системы, а также предложенной архитектуры
интеллектуальной иерархической многоагентной системы (ИИМАС) для
обучения и управления группой агентов ............................................................... 425
Приложение Д Результаты применения алгоритмов подсистемы машинного
зрения ........................................................................................................................ 453
Приложение Е Примеры аппаратных и программных решений, реализованных в
рамках тестирования предложенных методов и алгоритмов .............................. 460
Приложение Ж Вероятности выполнения поставленных задач за различные
временные интервалы .............................................................................................. 472
Приложение И Графики изменения параметра «среднее время достижения
целевого состояния» (оценка по временному показателю) ................................. 475
Приложение К Блок-схема разработанного метода сегментации
макродействий .......................................................................................................... 481
Приложение Л Декомпозиция работ, выделенных в рамках концептуального
моделирования интеллектуальной многоагентной системы ............................... 487
Приложение М Акты о внедрении результатов, полученных в диссертационной
работе ......................................................................................................................... 494
