Введение
1. Обзор существующих методов контекстной обработки 9
1.1. N-граммы 9
1.2. Динамическое программирование
1.2.1. Дискретный процесс управления 13
1.2.2. Метод динамического программирования 13
1.2.3. Алгоритм Левенштейна 14
1.2.4. Обзор работ 16
1.3. Скрытые марковские модели 17
1.3.1. Определение СММ. 17
1.3.2. Обзор работ
1.4. Нейронные сети 20
1.5. Методы коррекции и валидации текстов
1.5.1. Словарные методы 22
1.5.2. Вероятностные методы 23
1.5.3. Техника похожих ключей. 23
1.5.4. Сравнение методов
1.6. Классификационные методы 25
1.7. Методы синтаксического анализа
1.7.1. Формальные языки. Компилирование 28
1.7.2. Естественные языки. Компьютерная лингвистика 30
1.8. Выводы 32
2. Синтаксические методы контекстной обработки 33
2.1. Представление результатов распознавания. ар-сеть, ар-цепь, ар-матрица 33
2.2. Формальные языки и грамматики, синтаксические диаграммы
2.2.1. Язык 36
2.2.2. Понятие грамматики. ГрамматикаХомского 37
2.2.3. Нотация Бэкуса-Наура 38
2.2.4. Синтаксические диаграммы 39
2.2.5. PDSграмматика. 39
2.3. Классификация типов полей на формах 42
2.3.1. Словарное поле.. 42
2.3.2. Текст на естественном языке 43
2.3.3. Поле с заданным синтаксисом 43
2.3.4. Поле, описываемое синтаксисом частично 44
2.3.5. Поле с нефиксированным текстовым представлением 44
2.3.6. Поля со специальными ограничениями 45
2.4. Постановка задачи контекстной обработки 45
2.4.1. Восстановление текстового значения 45
2.4.2. Классификация текстового значения 46
2.4.3. Приведение распознанного значения к нормальной форме 47
2.4.4. Оценка степени надежности распознанного значения 47
2.4.5. Локализация ненадежных фрагментов 48
2.4.6. Нахождение опорных фрагментов 48
2.5. Поиск заданного текстового фрагмента в ар-цепи. алгоритм MCHSR 49
2.5.1. Структура результатов распознавания 49
2.5.2. Описание алгоритма MCHSR 50
2.6. синтаксический подход 55
2.6.1. О подходе 55
2.6.2. Основная алгоритмическая схема 55
2.6.3. ОП-процедура 57
2.6.4. Эксперименты и результаты 61
2.7. Подход с использованием частично-определенного синтаксиса 63
2.7.1. Предпосылки создания. 63
2.7.2. Схема алгоритма. 64
2.7.3. Эксперименты и результаты 67
2.7.4. Выводы 69
2.8. Классификация полей с нефиксированным текстовым представлением 70
2.8.1. Признаки и функции выделения признаков 71
2.8.2. Построение первичного классификатора 72
2.8.3. Сравнение функций выделения признаков 73
2.8.4. Задача с неизвестными классами 74
2.8.5. Сглаживание 75
2.8.6. Проблема зависимости признаков 76
2.8.7. Реализация и выводы 79
2.9. Выводы 79
3. Внедрения и особенности технической реализации 82
3.1. Система массового ввода структурированных документов 82
3.1.1. Обзор системы 82
3.1.2. Стадии технологической цепочки ввода документов 82
3.1.3. Основные компоненты системы 87
3.2. Подсистема контекстной обработки 92
3.2.1. Назначение подсистемы 92
3.2.2. Структура подсистемы 92
3.2.3. Процесс создания функций контекстной обработки 95
3.3. Внедренные проекты и особенности технической реализации 102
3.3.1. Ввод документов пенсионного страхования 102
3.3.2. Ввод анкет школьников и студентов 107
3.3.3. Ввод банковских документов. 108
3.3.4. Ввод отгрузочныхразнадядок в ОАО "Сибнефть" 109
3.3.5. Ввод счетов-фактур в Магнитогорском Металлургическом Комбинате 777
Заключение. Выводы 113
Список литературы
