Введение
1 Анализ состояния области 9
1.1 Оценка систем информационного поиска 11
1.2 Предмет оценки 14
1.2.1 Поисковая система 14
1.2.2 Наборы данных 16
1.3 Критерии 21
1.3.1 Релевантность 21
1.4 Меры, используемые в оценке 26
1.4.1 Меры на уровне обработки 27
1.4.2 Меры на уровне выхода 33
1.4.3 Другие меры 34
1.5 Инструменты измерения 35
1.5.1 Теоретические подходы 35
1.5.2 Реальные пользователи 36
1.5.3 Экспертные оценки 37
1.5.4 Косвенные оценки 41
1.6 Методы оценки 42
1.6.1 Процедура проведения оценки 42
1.6.2 Анализ результатов 43
1.6.3 Методология 45
1.7 Заключение 51
Теоретические основы предлагаемого подхода 52
2.1 Основные понятия 52
2.1.1 Вероятностное представление релевантности 52
2.1.2 Относительная релевантность 54
2.1.3 Относительная эффективность 55
2.2 Используемые метрики 55
2.2.1 Требования 56
2.2.2 Кандидаты 56
2.3 Построение оценки относительной эффективности 57
2.3.1 Полнота ответа эталонной системы 59
2.3.2 Оценка относительной релевантности 61
2.3.3 Сглаживание зависимости вероятности релевантности
от индекса документа в ответе тестируемой системы . 62
2.4 Построение мета-поисковой системы на основе оценки относительной релевантности 63
Инициатива РОМИП 65
3.1 Организация семинара 67
3.1.1 Методология оценки 68
3.1.2 Оргкомитет 69
3.2 Дорожка по поиску 70
3.2.1 Правила проведения 70
3.2.2 Выбор заданий для оценки 71
3.2.3 Сбор оценок асессоров 72
3.2.4 Таблицы релевантности 75
3.2.5 Метрики для вычисления оценок результатов прогонов 76
3.2.6 Сводные результаты систем 79
3.3 Дорожка по классификации 79
3.4 Наблюдения и планы 81
4 Экспериментальные исследования
4.1 Исследование зависимости относительной релевантности от ранга документа 82
4.1.1 Постановка эксперимента 83
4.1.2 Результаты 84
4.1.3 Анализ 84
4.2 Устойчивость характеристик ИПС к изменению входных данных 85
4.2.1 Постановка эксперимента 88
4.2.2 Результаты 90
4.2.3 Анализ 93
4.3 Оценка относительной эффективности 95
4.3.1 Постановка эксперимента 96
4.3.2 Результаты 97
4.3.3 Анализ 98
4.4 Мета-поисковая система, построенная на основе оценки относительной релевантности 100
Заключение 102
Литература 10
