Введение
1 Анализ предметной области 12
1.1 Задача анализа мнений 12
1.1.1 Обнаружение субъективности в текстах и идентификация мнений 14
1.1.2 Задача определения тональности фрагмента текста 15
1.1.3 Автоматическое аннотирование субъективных текстов 17
1.2 Подходы к классификации текстов по тональности 18
1.2.1 Критерии оценки качества алгоритмов классификации текстов по тональности 20
1.2.2 Классификация на основе методов машинного обучения 22
1.2.2.1 Алгоритмы классификации 23
1.2.2.2 Признаковое описание объектов и веса признаков 28
1.2.2.3 Подходы с использованием алгоритмов машинного обучения 30
1.2.3 Классификация по тональности на основе словарей и
правил 32
1.2.3.1 Методы построения словарей оценочной лексики 32
1.2.3.2 Подходы с использованием словарей оценочных слов 36
1.2.4 Классификация текстов по тональности на русском языке 37
1.2.5 Адаптация алгоритмов к различным предметным областям 39
1.3 Выводы к первой главе 40
2 Модель оценочных слов для построения словаря в заданной предметной области 42
2.1 Модель мнения пользователя 42
2.2 Модель извлечения оценочных слов для заданной предметной области 45
2.2.1 Описание текстовых коллекций 45
2.2.2 Признаки оценочных слов 46
2.2.2.1 Частотные признаки 47
2.2.2.2 Признаки на основе оценок пользователей 48
2.2.2.3 Лингвистические признаки 49
2.2.3 Алгоритмы и оценки качества 50
2.2.4 Исследование качества признаковых наборов 52
2.2.5 Теоретическое исследование признака «Странность» 55
2.2.5.1 Распределения слов в коллекциях текстов 56
2.2.5.2 Распределение случайной величины признака и его некоторые особенности 60
2.2.5.3 Взаимная информация между признаком и классом слова 61
2.2.6 Использование извлеченных оценочных слов в задаче классификации 65
2.2.6.1 Коллекции для тестирования качества классификации отзывов 66
2.2.6.2 Пространство признаков для классификации отзывов 66
2.2.6.3 Эксперименты по классификации отзывов с учётом тональности 69
2.2.6.4 Оценка отзывов экспертами 73
2.3 Перенос модели оценочных слов на различные предметные области 75
2.3.1 Описание результатов переноса модели 75
2.3.2 Использование извлеченных словарей в задачах классификации на РОМИП 2011 77
2.3.2.1 Коллекции и предобработка данных 77
2.3.2.2 Наборы признаков на основе оценочных слов 79
2.3.2.3 Результаты экспериментов по классификации отзывов в различных областях 81
2.3.3 Применение модели к другим языкам 8Г
2.3.4 Система извлечения оценочных слов DomEx 84
2.4 Выводы ко второй главе 85
3 Создание обобщенного списка оценочных слов 87
3.1 Методика формирования обобщенного списка 88
3.2 Перенос классификатора тональности на различные области 91
3.2.1 Меры качества в задаче переноса классификатора 93
3.2.2 Основные результаты переноса классификатора 94
3.3 Поиск и извлечение отзывов из коллекции блогов 95
3.4 Выводы к третьей главе 99
4 Классификация оценочных слов по тональности 100
4.1 Задача классификации слов по тональности 100
4.2 Марковские сети и модель Изинга 103
4.3 Алгоритм распространения доверия 106
4.4 Построение и инициализация модели 109
4.5 Эксперименты и оценка качества 111
4.6 Выводы к четвертой главе 114
Заключение 115
Список рисунков 116
Список таблиц 118
Литература
