Введение
Глава 1. Обзор исследований вариативности структурных единиц в различных языковых системах 12
1.1. Исследование вариативности в лингвистике 12
1.1.1. Варьирование в «узком» и «широком» смысле 12
1.1.2. Вариативность на разных уровнях языковой системы 17
1.2. Вариативность и меры близости символьных последовательностей .. 19
1.2.1. Метрика Левенштейна (редакционное, эволюционное расстояние) 19
1.2.2. Теоретико-множественные меры сходства 20
1.2.3. Корреляционные и ранговые меры близости 22
1.3. Описание вариативности на языке «образцов» (шаблонов) 23
1.4. Исследование вариативности в других языковых системах 26
1.5. Актуальность количественных подходов к анализу проявлений вариативности 30
1.6. Выводы по первой главе 31
Глава 2. Методика количественного исследования вариативности языковых единиц 34
2.1. Формирование обучающих подборок. Предобработка текста 34
2.2. Анализ редакционных операций. Выбор мер сходства 38
2.3. Представление обучающих подборок: «Z-граммы на словах» 41
2.4. Выделение структурных единиц из текста 44
2.4.1. Алгоритм выделения устойчивых цепочек слов 44
2.4.2. Выявление аспектных маркеров 48
2.4.3. Выделение сверхфразовых единств 51
2.5. Способы описания вариантов ЯЕ 55
2.5.1. Формирование ближайших окрестностей ЯЕ 56
2.5.2. Представление вариантов в виде образцов 57
2.6. Алгоритмы получения количественных оценок вариативности ЯЕ...59
2.7. Программная реализация методики 64
2.8. Выводы по второй главе 66
Глава 3. Исследование вариативности корней и слов в русском языке ..69
3.1. Количественные характеристики 1-окрестностей корней и слов 69
3.1.1. Зависимость числа соседей от длины ЯЕ, редакционной операции и номера позиции 70
3.1.2. Количественная и качественная характеристика векторов замен...74
3.1.3. Количественная и качественная характеристика векторов вставок 78
3.2. Создание тестовых словарей для систем распознавания речи на основе словаря паронимов 81
3.2.1. Сравнение количественных характеристик графической и фонетической версий словаря паронимов 82
3.2.2. Выбор «трудных» подсловарей из словаря квазиомонимов 84
3.3. Количественные характеристики слов с несколькими искажениями 87
3.3.1. 2-окрестности слов для разных типов редакционных операций 88
3.3.2. Кластеризуемость множественных искажений 92
3.3.3. Перестановки и переносы символов в словах 96
3.3.4. Случай трех искажений в слове 98
3.4. Вариативность морфемных моделей слов 99
3.4.1. Интегральные характеристики типовых морфемных структур 100
3.4.2. Характеристики 1-окрестностей морфемных моделей 104
3.5. Выводы по главе 3 108
Глава 4. Анализ вариативности словосочетаний 112
4.1. Количественный анализ и варьирование индикаторных словарей... 112
4.1.1. Количественные характеристики и оценка эффективности индикаторных словарей 114
4.1.2. Пополнение индикаторных словарей путем варьирования маркерных словосочетаний 117
4.2. Анализ вариативности заголовки, построенные на «игре слов» 122
4.2.1. Описание исходных данных 122
4.2.2. Классификация прототипов и их источников 125
4.2.3. Качественная и количественная характеристика схем варьирования 129
4.2.4. О возможности автоматизации моделирования заголовков из прототипов 140
4.3. Выводы по главе 4 142
Глава 5 Анализ вариативности на уровне текстов 144
5.1. Сравнение разных переводов одного текста 144
5.1.1. Анализ совместного частотного спектра двух переводов 145
5.1.2. Анализ расхождений переводов с оригиналом и друг другом 150
5.2. Формирование и сравнение различных квазирефератов текста 153
5.2.1. Профиль кластеризуемое языковых единиц в тексте 154
5.2.2. Построение квазирефератов текста с использованием профиля кластеризуемое, веса фраз и аспектных маркеров 157
5.2.3. Экспериментальная проверка и сравнение методов 158
5.3. Выводы по главе 5 162
Заключение 165
Список использованных источников 170
