ОГЛАВЛЕНИЕ
ОГЛАВЛЕНИЕ ............................................................................................................ 2
ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ, ОБОЗНАЧЕНИЯ, СОКРАЩЕНИЯ .................... 5
ВВЕДЕНИЕ .................................................................................................................. 8
1 ОБЗОР СОВРЕМЕННОГО СОСТОЯНИЯ БОЛЬШИХ ДАННЫХ И
МЕТОДОВ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ТЕКСТОВЫХ ДАННЫХ В
СОЦИАЛЬНЫХ СЕТЯХ .......................................................................................... 15
1.1 Большие данные .................................................................................................. 17
1.1.1 Основы Больших данных ................................................................................ 18
1.1.2 Использование Больших данных .................................................................... 19
1.1.3 Анализ Больших данных ................................................................................. 20
1.2 Основные типы открытых данных .................................................................... 20
1.3 Анализ систем для эффективной обработки объемных данных .................... 22
1.3.1 Массовые системы анализа социальных сетей ............................................. 23
1.3.2 Системы мониторинга и анализа социальных сетей в контексте
коммерческих организаций ...................................................................................... 24
1.3.3 Системы и фреймворки для анализа и обработки данных .......................... 28
1.4 Практическое применение Больших данных ................................................... 31
1.5 Анализ современного состояния моделей и методов интеллектуального
анализа данных пользователей социальных сетей ................................................ 35
1.5.1 Обзор существующих решений анализа социальных сетей ........................ 37
1.6 Построение психологического портрета человека на основе открытой
информации из социальных сетей ........................................................................... 44
1.6.1 Системный подход Гордона Олпорта к изучению личности ...................... 44
1.6.2 «Большая пятерка» ........................................................................................... 45
1.6.3 HEXACO ............................................................................................................ 46
1.6.4 MBTI ................................................................................................................... 47
1.7 Сфера применения ............................................................................................... 52
1.8 Закон о персональных данных ........................................................................... 56
Выводы по главе ........................................................................................................ 59
3
2 МЕТОДЫ И АЛГОРИТМЫ ФОРМИРОВАНИЯ ПСИХОЛОГИЧЕСКОГО
ПОРТРЕТА ПОЛЬЗОВАТЕЛЯ СОЦИАЛЬНОЙ СЕТИ ....................................... 61
2.1 Описание социальной сети ................................................................................. 61
2.2 Оценка сходства признаков выражения ............................................................ 63
2.2.1 Оценка сходства текстовых объектов ............................................................ 64
2.2.2 Оценка сходства между двумя записями ....................................................... 65
2.2.3 Оценка сходства между двумя пользователями ........................................... 67
2.3 Объединение информации из двух социальных сетей .................................... 67
2.4 Кросс-доменный аспектно-ориентированный анализ тональности текста ... 69
2.5 Источники данных и выборка для обучения нейронной сети ........................ 73
2.6 Алгоритм предварительной обработки и очистки текстовых данных .......... 76
2.7 Парсинг данных из социальной сети ................................................................. 79
Выводы по главе ........................................................................................................ 85
3 РАЗРАБОТКА И РЕАЛИЗАЦИЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ДЛЯ
АНАЛИЗА ПСИХОЛОГИЧЕСКОГО ПОРТРЕТА ПОЛЬЗОВАТЕЛЕЙ
СОЦИАЛЬНЫХ СЕТЕЙ ........................................................................................... 87
3.1 Алгоритм работы программы, предназначенной для формирования
психологического портрета пользователя социальной сети ................................. 87
3.2 Алгоритм поиска аккаунтов пользователя ....................................................... 91
3.3 Алгоритм работы модели IbDA-LSTM-CRF ..................................................... 93
3.4 Особенности программной реализации ............................................................ 94
3.4.1 Реализация программного обеспечения ......................................................... 95
Выводы по главе ...................................................................................................... 100
4 ПРОВЕДЕНИЕ ЭКСПЕРИМЕНТАЛЬНОГО ТЕСТИРОВАНИЯ
АЛГОРИТМОВ ........................................................................................................ 101
4.1 Подготовка данных для эксперимента ............................................................ 101
4.2 Эксперименты по идентификации профилей пользователей на различных
платформах социальных сетей ............................................................................... 102
4.3 Эксперименты алгоритмов классификации ................................................... 105
4.4 Метрики оценки результатов классификации ................................................ 112
4
Выводы по главе ...................................................................................................... 115
ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ .......................................................... 117
СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ И ПЕРВОИСТОЧНИКОВ ....... 117
ПРИЛОЖЕНИЯ ....................................................................................................... 133
ПРИЛОЖЕНИЕ 1. Свидетельства о государственной регистрации программ
для ЭВМ…………………………………………………………………………...133
ПРИЛОЖЕНИЕ 2. Акты внедрения результатов кандидатской
диссертации…………………………….………………………………………….135
