Введение
1. Обзор. методы хранения и управления данными. методы неточного сопоставления строк. методы принятия решений 12
1.1. Методы хранения и управления данными 12
1.1.1. Базы данных 12
1.1.2. Хранилища данных 14
1Л.З. Очистка данных 18
1.2. Методы неточного сопоставления строк 23
1.2.1. Расстояние редактирования 25
1.2.2. Нахождение наибольшей общей подпоследовательности 28
1.2.3. Метод п-грамм 31
1.2.4. Trie-деревья 33
1.2.5. Хеширование 33
1.3. Методы принятия решений 35
1.3.1. Таблицы принятия решений 36
1.3.2. Деревья принятия решений 37
1.3.3. Фреймовые модели 39
1.3.4. Нейросетевые методы 42
1.3.5. Теория нечетких множеств 46
1.3.6. Генетические алгоритмы 49
1.3.7. Структурные методы анализа 51
1.4. Выводы 52
2. Разработка математических моделей и методов идентификации объектов нечисловой природы на примере юридических лиц 54
2.1. Алгоритмы сравнения реквизитов объектов 54
2.1.1. Символьные поля 54
2.1.2. Сложные символьные поля 56
2.1.2.1. Наименование объекта 56
2.1.2.2. Почтовый адрес 58
2.1.3. Числовые поля 64
2.2. Алгоритмы сравнения объектов 65
2.2.1. Таблицы принятия решений 65
2.2.2. Деревья принятия решений 67
2.2.3. Структурный метод принятия решений 70
2.3. Выводы 73
3. Применение алгоритмов идентификации юридических лиц в задаче построения хранилища данных 75
3.1. Выбор класса задач 75
3.2. Построение хранилища данных Управления Федеральной службы налоговой полиции по Саратовской области 76
3.2.1. Особенности предметной области. Выбор СУБД 77
3.2.2. Входной поток и Метапоток хранилища данных 78
3.2.3. Восходящий поток 81
3.2.4. Выходной поток 83
3.2.5. Выбор реквизитов для принятия решения 86
3.2.6. Построение дерева принятия решений 89
3.2.7. Структурный метод принятия решений 90
3.3. Выводы 92
4. Реализация, эксперименты, внедрение 93
4.1. Оценки эффективности алгоритма.
Сравнение с традиционными методами 93
4.2. Описание программной реализации алгоритма идентификации объектов нечисловой природы 96
4.3. Технические характеристики 100
4.4. Выводы 101
Заключение 102
Литература
