Введение
ГЛАВА 1. Проблемы математического моде лирования языковых единиц в области автоматической обработки текстов 16
1.1 Виды автоматической обработки текстов и области ее применения 19
1.2 Унив ерсальные способы моделирования знаний в об ластях
автоматической обработки текстов и искусственного интеллекта 22
1.2.1 Направления исследований в области и скусственного инт еллекта, относящиеся к автоматической обработке текстов 23
1.2.2 Проблема универсальных алгоритмов в автоматической обработке текста и искусственном интеллекте 24
1.2.3 Спо собы пре дставления знаний в сис темах а втоматической обработки текстов и искусственного интеллекта в контексте проблемы машинного обучения 26
1.2.4. Проблема разграничения знаний о языке и знаний о мире в сист емах автоматической обработки текстов и искусственного интеллекта 28
1.3 Проблемы математического моделирования синтаксических структур в различных лингвистических концепциях 29
1.3.1 Структуры непосредственных составляющих 31
1.3.2 Моделирование линейного порядка слов и взаимодействия грамматических признаков в трансформационной порождающей грамматике Н. Хомского 34
1.3.3 Проблема линеаризации структур составляющих: идеи , ал ьтернативные трансформациям 44
1.3.4 Структуры зависимостей 47
1.3.5 Комбинированные с труктуры непосредственных сост авляющих и зависимостей 48
1.4 Проблемы мод елирования грамматической семан тики в области автоматической обработки текста 50
1.4.1 Проблемы моделирования категориальных грамматических значений и учета грамматической полисемии при автоматической обработке текста 51
1.4.2 Свойства формальности и интенциональности грамматических значений в контексте автоматической обработки текста 52
1.4.3 Проблема моделирования межкатегориального взаимодействия 53
1.5 Пробл емы онтологич еского моделиро вания лексической семант ики в области автоматической обработки текста 55
1.6 Выводы 61
ГЛАВА 2. Теории син таксической семантики и их значение для автоматической обработки текста 62
2.1 Онтологоцентрический подход к моделированию семантики предложения 64
2.2 Концептоцентрический подход к моделированию семантики предложения 65
2.2.1 Пропозициональное направление в рамках концептоцентрического подхода к моделированию семантики предложения 65
2.2.2 Падежно-ролевые подходы к моделированию семантики предложения 66
2.2.3 Непропозициональное направление в рамках концептоцентрического подхода к моделированию семантики предложения 70
2.3 Синтактикоцен трический подход к моделированию семанти ки предложения 71
2.4 Антропоцентрический подход к моделированию семантики предложения 72
2.5 Комплексные подходы к моделированию семантики предложения 74
2.6 Подходы, основанные на сетевом моделировании семантики предложения 77
2.7 Подходы к моделированию семантики связного текста 82
2.7.1 Моделирование семантики анафорических отношений 83
2.7.2 Проблема моделирования актуального членения 86
2.7.3 Моделирование тематических прогрессий 89
2.7.4 Моделирование синтаксиса связного текста 90
2.8 Выводы 91
ГЛАВА 3. Методы автомат ической обра ботки текста и способы оценки их эффективности 93
3.1. Методы автоматического морфологического анализа текста 93
3.1.1 Основные проблемы автоматического морфологического анализа 93
3.1.2 Декларативные и процедурные методы автоматического морфологического анализа 95
3.1.3 Методы снятия морфологической неоднозначности 97
3.1.4 Способы оценки эффективности морфологического анализа 98
3.2. Методы автоматического синтаксического анализа текста 99
3.2.1 Основные проблемы автоматического синтаксического анализа 99
3.2.2 Одноцелевые, многоцелевые и комбинированные методы автоматического синтаксического анализа 101
3.2.3 Направленность ме тодов ав томатического синтакс ического анализа на построение графа зависимостей и на пост роение структуры непоср едственных составляющих 102
3.2.4 Формаль но-грамматические и вероя тностно-статистические методы автоматического синтаксического анализа 104
3.2.5 Методы снятия синтаксической неоднозначности 104
3.3. Методы автоматического семантического анализа текста 106
3.3.1 Проблемы семантического анализа текстов 106
3.3.2 Опубликованные универсал ьные онтологии, использу емые в с истемах автоматической обработки текстов 108
3.4 Тематическая к лассификация новостных т екстов. Методы автоматической рубрикации текста 118
3.4.1 Методы автоматической рубрикации текста 119
3.4.2 Автоматическая рубрикация текстов и информационный поиск 124
3.5 Анализ способов измерения эффективности автоматической рубрикации текста 127
3.5.1 Меры точности и полноты автоматической рубрикации текста 127
3.5.2 Статистические меры эффективности автоматической рубрикации текста 129
3.6 Особенности новостных сообщений как материала для автоматической рубрикации 132
3.6.1 Новостные сообщения и новостные тексты 134
3.6.2 Использование новос тных с ообщений как материала для оценки эффективности систем автоматической рубрикации текстов 140
3.7 Выводы 141
ГЛАВА 4. Система автоматической рубрикации новостных сообщений сред ствами синтаксического и семантического анализа текстов 143
4.1 Возможности применения комплексного лингвистического анализа текста к его автоматической рубрикации 143
4.2.1 Морфологический анализ узуальных и окказиональных словоформ в тексте 144
4.2.2 Алгорит мы анализа деривационных отношений в морфологии, словообразовании и синтаксисе 150
4.2.3 Алгоритм семантического анализа 160
4.3. Струк тура лингвис тического процес сора и ли нгвистических модулей русского языка 162
4.3.1 Структура лингвистического процессора 165
4.3.2 Разработанная система грамматических категорий 169
4.3.3 Разработанный морфологический словарь русского языка 171
4.3.4 Грамматические модули русского синтаксиса и синтаксической семантики. Моделирование разрывных составляющих 172
4.3.5 Разработанная онтология 187
4.4 Структура системы автоматической рубрикации новостных сообщений,
основанной на синтаксическом и семантическом анализе текстов 188
4.5 Пров ерка эфф ективности разработанной системы автоматической
рубрикации новостных сообщений 190
Заключение
