Введение
ГЛАВА 1. Анализ методов сжатии информации 14
1.1. Предварительные замечания 14
1.2. Модели словарного сжатия 18
1.3. Модели контекстного сжатия 20
1.3.1. Модели с фиксированным контекстом 21
1.3.2. Контекстуально-смешанные модели 22
1.3.3. Вероятность ухода 22
1.3.4. Исключения 22
1.3.5. Алфавиты 24
1.4. Другие методы статистического моделирования 24
1.4.1. Динамическое сжатие Маркова 24
1.4.2. Грамматические модели 27
1.4.3. Модели новизны 28
1.4.4. Выводы по первой главе 29
ГЛАВА 2. Контекстно-словарные модели сжатия 30
2.1. Предварительные замечания 30
2.2. Сжатие текстовых файлов 34
2.3. Структурная модель представления сжатия текстовой информации 35
2.4. Постановка задачи приведения к предложенной схеме
структурированного вида 36
2.5. Модель сжатия использующий контекстно-словарный метод 38
% 2.5.1. Модель хранения сжатого текста 39
2.5.2. Древовидная модель словаря 40
2.5.3. Модель словаря морфем 44
2.6. Выводы по второй главе 44
ГЛАВА 3. Алгоритмы контекстно-словарного сжатия данных на основе предложенных моделей 46
3.1. Предварительные замечания 46
3.2. Приведение информации к структурированному виду 48
3.3. Преобразование словаря 50
3.3.1. Разбиение слова на слоги 50
3.3.2. Разбиение на составные части слова 55
3.3.3. Древовидное представление структуры словаря 57
3.4. Оценка построение структуры словаря от способа разложения слов. 58
3.5. Кодирование текста с использованием полученного словаря 61
3.5.1. Построение кодов переменной длины 61
3.5.2. Применение кодирования контекстных индексов арифметического кодирования 61
3.6. Оценка эффективности полученных кодов алгоритма кодирования с
помощью словаря 63
3.6.1. Стоимость кодирования текста 63
3.6.2. Оценка объема необходимой памяти 65
3.7. Управление распределением памяти 67
3.8. Выводы по третьей главе 68
ГЛАВА 4. Программный комплекс контекстно-словарного сжатия текстовых данных msv quick reader 69
4.1. Основные требования к техническому облику программного комплекса MSV Quick Reader 69
4.2. Область применения программного комплекса 70
4.3. Проблемы существующих систем 71
4.4. Задачи разработки программного комплекса 72
4.5. Этапы разработки программного комплекса 72
4.6. Реализация блока сжатия файлов 75
4.6.1. Реализация блока Compress 78
4.6.2. Реализация блока Decompress 79
4.7. Сравнительная оценка эффективности 80
4.7.1. Тестовые данные 81
4.7.2. Методика сравнения 81
4.7.3. Результаты сравнения 82
4.8. Пример преобразования и кодирования слов 84
4.9. Выводы по четвертой главе 88
Приложение 1
