Введение
Глава 1 Задача проектирования модели данных и контроля качества данных при построении информационно- аналитических систем 12
1.1 Проектирование модели данных 12
1.1.1 Логическая модель данных 13
1.1.2 Физическая модель данных 16
1.1.3 Классификация технологий проектирования моделей данных 23
1.1.3.1 Разработка модели данных «с нуля» 23
1.1.3.2 Индустриальные модели данных 26
1.1.3.3 Универсальная модель данных 28
1.2 Обеспечение качества данных 30
1.2.1 Классификация существующих технологий контроля качества данных 31
1.2.1.1 Репозитории метаданных 32
1.2.1.2 Средства профилирования информации 33
1.2.1.3 Системы мониторинга данных 35
1.2.1.4 Средства очистки информации 36
1.2.1.5 Системы управления базами данных 38
1.2.1.6 Средства управления справочниками 39
1.3 Постановка задачи 42
1.3.1 Недостатки существующих технологий проектирования модели данных 43
1.3.2 Недостатки существующих средств повышения качества данных.44
1.3.3 Требования к разрабатываемой технологии 45
Глава 2 Формализация задачи и разработка автоматизированных методов проектирования модели данных и контроля качества информации 47
2.1 Автоматизация проектирования модели данных 47
2.1.1 Математическое моделирование модели данных 47
2.1.2 Возможность автоматизации разработки модели данных 48
2.1.3 Макроязык для определения правил генерации структуры базы данных 57
2.1.4 Шаблоны генерации структуры,базы данных 61
2.1.5 Использование шаблонов автоматической генерации структуры базы данных и автоматизированная разработка модели данных 65
2.2 Автоматизация контроля качества данных 67
2.2.1 Контроль качества данных атрибутов 68
2.2.2 Контроль качества данных фактов 71
2.2.3 Классы проверок качества данных 73
2.2.3.1 Контроль значений колонок таблицы 73
2.2.3.2 Контроль наличия в таблице всех необходимых значений 74
2.2.3.3 Контроль дубликатов 77
2.2.3.4 Контроль правила «З о» 78
2.2.3.5 Контроль качества информации с помощью прогнозирования...79
2.2.4 Контроль качества данных и ETL 81
2.2.5 Абсолютное качество данных 82
Глава 3 Разработка программного комплекса и анализ результатов применения разработанной технологии 84
3.1 Архитектура программного комплекса 84
3.2 Подсистема проектирования модели данных 85
3.3 Подсистема контроля качества данных 95
3.3.1 Использование системы контроля качества данных при разработке процедур ETL 98
3.4 Репозиторий метаданных 101
3.4 Производительность и расширяемость системы 102
3.5 Информационно-аналитическая система для анализа деятельности университета 104
3.6 Снижение трудозатрат при использовании разработанной технологии и программного комплекса при создании информационно-аналитических систем 111
Заключение 115
Библиографический список 116
Приложения 126
