Введение
1 Анализ информационно–поисковых систем. Методы документального поиска 13
1.1 Потребность в решении задачи информационного поиска 13
1.2 Типы информационно–поисковых систем 14
1.3 Лингвистические и статистические методы информационно–поисковых систем 18
1.4 Модели поиска 24
1.5 Индексирование в поисковых системах 27
1.6 Поиск при наличии ошибки в запросе 30
1.7 Методы определения меры соответствия индексов 31
1.8 Ранжирование 34
1.9 Атрибуты документов 36
1.10 Оценка качества поиска 39
1.11 Модели баз данных информационно–поисковых систем 41
Выводы по первому разделу 43
2 Аналитическая модель поиска текстовых документов в слабо структурированных информационных массивах. Процедурная модель сравнения битовых последовательностей индексов термов 46
2.1 Требования, предъявляемые к поисковым системам локального характера 46
2.2 Лингвостатистическая обработка документов 48
2.2.1 Выделение массива термов 48
2.2.2 Предварительная лингвистическая обработка документов 49
2.2.3 Векторная модель поиска 51
2.2.4 Частотный анализ термов 52
2.2.5 Определение частоты термов 54
2.3 Атрибуты документов при решении задачи поиска в слабо структурированных информационных массивах 55
2.3.1 Модель метаданных «Дублинское ядро» 55
2.3.2 Выбор атрибутов для решения задачи поиска текстовых документов в слабо структурированных информационных массивах 58
2.3.3 Аналитическая модель поиска в слабо структурированных информационных массивах 61
2.4. Индексирование при поиске с ошибкой 63
2.4.1 Хеширование по сигнатуре 63
2.4.2 Модификация метода хеширования по сигнатуре. Кластеризация термов 68
2.5 Процедурная модель сравнения битовых последовательностей индексов термов 74
2.5.1 Потребность в сравнении индексов при поиске с ошибкой 74
2.5.2 Обоснование выбора метода для решения задачи сравнения индексов при возможном изменении одного бита индекса запроса 77
2.5.3 Разработка целевой функции и набора ограничений на переменную 78
Выводы по второму разделу 83
3 Процедурная модель поиска текстовых документов в слабо структурированных информационных массивах. Оценка качества поиска 85
3.1 Предпосылки формирования векторного пространства 85
3.2 Нормировка вектора содержания по длине документа. Попозиционное взвешивание. Распределение весов между атрибутами документов в векторной модели поиска. Формирование итогового векторного пространства 86
3.2.1 Нормировка вектора содержания по длине документа 86
3.2.2 Зонное индексирование 88
3.2.3 Взвешивание по зонам 91
3.2.4 Распределение весов между зонами 92
3.2.5 Формирование итогового векторного пространства 94
3.3 Запросы в виде векторов 97
3.4 Ранжирование на основе векторной модели 100
3.5 Оценка качества поиска 103
Выводы по третьему разделу 109
4 Разработка структуры и тестирование ИПС 111
4.1 Средства реализации и условия тестирования алгоритмов 111
4.2 Структура и принцип работы приложения анализа текстовой коллекции 112
4.2.1 Состав раздела для работы со словарями 112
4.2.2 Состав раздела по обработке документов 115
4.2.3 Состав раздела отображения текущих действий 117
4.2.4 Состав раздела обработки документов различных форматов 117
4.2.5 Состав раздела вспомогательных классов 120
4.3 Структура и принцип работы ИПС 125
4.4 Тестирование ИПС 132
Выводы по четвертому разделу 135
Основные результаты и выводы 137
Список литературы и источников 138
Приложение А. Акт о внедрении в эксплуатацию 150
Приложение Б. Акт о внедрении в учебный процесс 152
Приложение В. Свидетельства о регистрации программ 153
