Введение
Глава 1. Обзор технологий распределенной обработки больших объемов данных 12
1.1. Тенденции развития вычислительных технологий и технологий передачи данных 12
1.2. Методы распределенной обработки больших объемов данных 13
1.3. Методы обработки потока данных 13
1.4. Технологии передачи данных в распределенных системах
1.4.1. Передача данных в интерконнектах суперкомпьютеров 15
1.4.2. Технологии, использующие систему хранения данных
1.4.3. Специализированные транспортные протоколы передачи данных
4.3.1. Алгоритмы управления перегрузкой для TCP 19
1.4.3.2. Протоколы передачи данных на базе UDP 20
1.4.3.3. Анализ эффективности протоколов 21
1.5. Выводы по главе 23
Глава 2. Модель обработки потока данных в распределенных системах 25
2.1. Идея модели обработки потока данных 25
2.1.1. Особенности инфраструктуры распределенных суперкомпьютерных систем 28
2.2. Модель очередей для обработки потока данных 30
2.2.1. Пример применения предложенной модели в проекте пределенный PIV 33
2.3. Математическое обоснование преимущества системы с общей редью 35
2.3.1. Система массового обслуживания En/M /1 36
2.3.2. Система массового обслуживания M/M/n 38
2.3.3. Сравнение систем En/M /1 и M/M/n 39
2.4. Технология взаимодействия оконечных систем и менеджера оче
редей 41
2.4.1. Алгоритм распределения элементов потока данных по вычислителям 42
2.4.2. Метод взаимодействия оконечных систем и менеджера очередей
2.5. Преимущества модели очередей и технологии взаимодействия оконечных систем с менеджером очередей 45
2.6. Методика оценки требуемых коммуникационных и вычислителных ресурсов 47
2.7. Выводы по главе 53
Глава 3. Программная инфраструктура распределенной обработки данных 54
3.1. Анализ существующих технологий работы с очередями в распределенных системах 54
3.1.1. Скорость упаковки данных и диспетчеризации 56
3.1.2. Простота реализации формата передачи данных 56
3.1.3. Поддержка сторонних транспортных протоколов 56
3.1.4. Простота использования 57
3.1.5. Безопасность 57 3.1.6. Поддержка структурированных сообщений 57
3.2. Протокол SciMP 58
3.2.1. Формат пакета протокола SciMP 59
3.2.2. Возможности протокола SciMP 60
3.2.3. Иллюстрация работы протокола SciMP
3.3. Методы обработки параллельных сетевых соединений 62
3.4. Программное обеспечение распределенной обработки данных
3.4.1. Сервер очередей 67
3.4.2. Клиентская библиотека 70
3.4.3. Управляющее программное обеспечение 73
3.5. Выводы по главе 76
Глава 4. Апробация предложенных решений 77
4.1. Условия проведения экспериментов 77
4.1.1. Характеристики оконечных систем 78
4.1.2. Настройки сетевых подсистем в оконечных системах 79
4.1.3. Схема установки программного обеспечения
4.2. Тестирование эффективности алгоритмов TCP 81
4.3. Исследование и анализ пропускной способности системы
4.3.1. Определение диапазонов значений варьируемых параметров 85
4.3.2. Обработка потока данных с использованием транспортного протокола TCP 87
4.3.3. Обработка потока данных с использованием транспортного протокола UDT 4.4. Тестирование масштабируемости программного обеспечения 100
4.5. Тестирование программного обеспечения при обработке продолжительных потоков данных 104
4.6. Выводы по главе 107
Заключение 108
Список литературы
