СОДЕРЖАНИЕ
СПИСОК ТЕРМИНОВ И ОБОЗНАЧЕНИЙ .......................................................................... 4
ВВЕДЕНИЕ ................................................................................................................................... 5
ГЛАВА 1. Современное состояние проблемы многокамерного сопровождения движущихся объектов на видеопотоке с применением компьютерного зрения и интеллектуального анализа данных ...................................................................................... 10
1.1. Анализ рынка видеоаналитики и прогнозы его развития .............................. 11
1.2. Проблема многокамерного сопровождения на видеопотоке в режиме реального времени ............................................................................................. 13
1.2.1. Калибровка многокамерных систем .......................................................... 18
1.2.2. Сшивка изображений многокамерных систем на видеопотоке в режиме реального времени ............................................................................................. 23
1.2.3. Алгоритмы детектирования объектов на видеопотоке в режиме реального времени ............................................................................................................. 25
1.2.4. Алгоритмы многокамерного сопровождения объектов на видеопотоке в режиме реального времени ................................................................................ 27
1.2.5. Задача повторной идентификации объектов на видеопотоке ..................... 28
1.2.6. Используемые наборы данных .................................................................. 29
1.2.7. Показатели, используемые для оценки эффективности анализа изображений ..................................................................................................... 30
1.3. Постановка задач и целей исследования ...................................................... 32
1.4. Выводы ....................................................................................................... 33
ГЛАВА 2. Калибровка камер и сшивка изображений видеопотоков многокамерных систем в режиме реального времени ..................................................................................... 36
2.1. Алгоритм калибровки многокамерных систем ............................................. 36
2.2. Алгоритм панорамной сшивки изображений в многокамерных системах ..... 44
2.3. Выводы ....................................................................................................... 54
ГЛАВА 3. Детектирование и сопровождение объектов в многокамерных системах в режиме реального времени ...................................................................................................... 56
3.1. Задачи детектирования и сопровождения объектов в многокамерных системах ............................................................................................................ 56
3.2. Разработка метода многокамерного сопровождения объектов с применением искусственного интеллекта ................................................................................ 59
3.2.1. Алгоритм детектирования объектов на основе СНС YOLOv8 .................... 62
3.2.2. Формирование набора признаков объектов и модификация СНС ResNet 50 для решения задач сопровождения объектов ...................................................... 62
3.2.3. Установление соответствия между изображениями объектов, полученных с соседних кадров ................................................................................................ 64
3.2.4. Проверка наличия сопровождаемого объекта в кадре ............................... 66
3.3. Формализация алгоритма детектирования и сопровождения людей в многокамерных системах ......................................................................................... 68
3
3.3.1. Сопровождения людей в многокамерных системах с распознаванием лиц . 69
3.3.2. Метод сопровождения людей на видеопотоке в режиме реального времени с идентификацией лица ........................................................................................ 70
3.3.3. Выбор модели СНС для распознавания лиц и сопоставления людей на соседних кадрах видеопотоков .......................................................................... 72
3.4. Формализация алгоритма детектирования и сопровождения транспортных средств в многокамерных системах ................................................................... 75
3.4.1. Метод сопровождения ТС на видеопотоке в режиме реального времени с идентификацией государственного регистрационного номера ............................ 76
3.4.2. Выбор модели СНС для распознавания государственного регистрационного номера ТС и сопоставления ТС на соседних кадрах видеопотоков ..................... 80
3.5. Выводы ....................................................................................................... 81
ГЛАВА 4. Моделирование, настройка параметров, исследование, внедрение разработанных алгоритмов многокамерного сопровождения движущихся объектов на видеопотоке ................................................................................................................................. 83
4.1. Исследование и апробация разработанных алгоритмов калибровки и сшивки кадров видеопотоков многокамерных систем ..................................................... 83
4.2. Обучение СНС для решения задач многокамерного сопровождения объектов на видеопотоке .................................................................................................. 86
4.3 ............ Экспериментальная оценка эффективности алгоритмов обнаружения и сопровождения людей и ТС ............................................................................... 87
4.3.1. Подготовка тестовых данных для анализа видеопотоков ........................... 87
4.3.2. Результаты проведенных экспериментов для оценки эффективности разработанного метода сопровождения .............................................................. 90
4.3.3. Результаты исследований метода сопровождения людей на видеопотоке с идентификацией лица ........................................................................................ 98
4.3.4. Результаты исследований метода сопровождения ТС на видеопотоке ..... 102
4.3.5. Результаты исследований метода сопровождения ТС на видеопотоке с распознаванием государственного регистрационного номера ........................... 108
4.4. Апробация метода сопровождения людей и транспортных средств ............ 111
4.5. Реализация программно-аппаратного комплекса мониторинга людей и ТС для предприятия АО «Русполимет» ....................................................................... 114
4.5.1. Сервер видеоаналитики .......................................................................... 116
4.5.2. Сервер веб-сервиса и БД ......................................................................... 119
4.6. Перспективные направления дальнейшего развития исследования ............ 125
4.7. Выводы ..................................................................................................... 125
ЗАКЛЮЧЕНИЕ ....................................................................................................................... 127
Список литературы ................................................................................................................. 129
Приложение 1. Копия патента на изобретение .................................................................. 145
Приложение 2. Копии свидетельств о государственной регистрации программ для ЭВМ ............................................................................................................................................ 146
Приложение 3. Копии документов о внедрении результатов кандидатской диссертационной работы ....................................................................................................... 153
