Модель потоковой обработки экспериментальных данных в распределенных системах
Авторы
-
В.А. Щапов
-
А.Г. Масич
-
Г.Ф. Масич
Ключевые слова:
экспериментальная установка
суперкомпьютер
скоростная оптическая сеть
протокол
BDP
распределенные вычисления
потоковая обработка данных
Аннотация
Современные экспериментальные установки порождают продолжительные по времени и интенсивные потоки данных. Ограниченность вычислительных ресурсов при установках и рост требований к точности алгоритмов приводят к невозможности их локальной обработки. Однако большая пропускная способность оптических лямбда-сетей позволяет перенести вычисления на удаленные суперкомпьютеры, при этом крайне важно организовать эффективный параллелизм во всех компонентах такой распределенной системы. Рассматривается модель потоковой обработки экспериментальных данных, ориентированная на использование высокоскоростных оптоволоконных сетей передачи данных большой протяженности для связи экспериментальной установки с высокопроизводительными вычислительными системами. Исследование выполнено при поддержке РФФИ (код проекта 11–07–96001–р_урал_а) и Уральского отделения РАН (код проекта 12–П–1–2012). Статья рекомендована к публикации программным комитетом Международной научной конференции «Научный сервис в сети Интернет: поиск новых решений» (http://agora.guru.ru/abrau2012).
Раздел
Раздел 2. Программирование
Библиографические ссылки
- Степанов Р.А., Масич А.Г., Сухановский А.Н., Щапов В.А., Игумнов А.С., Масич Г.Ф. Обработка на супервычислителе потока экспериментальных данных // Тр. Междунар. суперкомпьютерной конференции «Научный сервис в сети Интернет: экзафлопсное будущее». М.: Изд-во Моск. ун-та, 2011. 168-174.
- Степанов Р.А., Масич А.Г., Масич Г.Ф. Инициативный проект «Распределенный PIV» // Tр. Всероссийской суперкомпьютерной конференции «Научный сервис в сети Интернет: масштабируемость, параллельность, эффективность». М.: Изд-во Моск. ун-та, 2009. 360-363.
- Масич А.Г., Масич Г.Ф. Инициатива GIGA UrB RAS // Совместный вып. журн. «Вычислительные технологии» и журн. «Вестник КазНУ им. Аль-Фараби. Сер.: матем., механ., информатика» № 3 (58). 13, Ч. II. Алматы, 2008. 413-418.
- Масич А.Г., Масич Г.Ф., Степанов Р.А., Щапов В.А. Скоростной I/O-канал супервычислителя и протокол обмена интенсивным потоком экспериментальных данных // Тр. X Междунар. конференции «Высокопроизводительные параллельные вычисления на кластерных системах HPC-2010». 2. Пермь: Изд-во ПГТУ, 2010. 119-128.
- Gu Y., Grossman R.L. UDT: UDP-based data transfer for high-speed wide area networks // Computer Networks. 2007. 51, N 7. 1777-1799.
- Баталов В.Г., Сухановский А.Н., Фрик П.Г. Экспериментальное исследование спиральных валов в адвективном потоке, натекающем на горячую горизонтальную поверхность // Изв. РАН. Механ. жидкости и газа. 2007. № 4. 50-60.
- Batalov V., Sukhanovsky A., Frick P. Laboratory study of differential rotation in a convective rotating layer // J. Geophys. Astrophys. Fluid Dynam. 2010. 104, N 4. 349-368.
- Масич А.Г., Масич Г.Ф., Матвеенко В.П., Тирон Г.Г. Инициатива GIGA UrB RAS: методология построения и архитектура научно-образовательной оптической магистрали Уральского отделения РАН // Тр. Междунар. конференции «Математические и информационные технологии» MIT-2011. Белград, 2012. 257-265.