Об одном подходе к мониторингу, анализу и визуализации потока заданий на кластерной системе

Авторы

  • А.В. Адинец
  • П.А. Брызгалов
  • Вад.В. Воеводин
  • С.А. Жуматий
  • Д.А. Никитенко

Ключевые слова:

параллельные вычисления
мониторинг
поток заданий
вычислительный кластер

Аннотация

В связи с распространением больших кластерных систем в настоящее время актуальной является задача эффективного использования таких систем. Для этого необходимо выявлять проблемы, возникающие в процессе счёта задачи, извещать пользователя о существовании проблем и предлагать возможные пути их решения. Одним из путей достижения этих целей является непрерывный мониторинг выполняемых на кластере задач и анализ полученных данных. В статье предлагается подход для решения этих задач и описывается разработанный прототип. Работа выполнена при поддержке госконтракта Министерства образования и науки РФ № 07.514.12.4001 и гранта РФФИ № 09-07-00168-а. Статья рекомендована к печати Программным комитетом Всероссийской конференции «Высокопроизводительные параллельные вычисления на кластерных системах» (http://agora.guru.ru/display.php?conf=hpc2011)


Загрузки

Опубликован

2011-11-10

Выпуск

Раздел

Раздел 2. Программирование

Авторы

А.В. Адинец

П.А. Брызгалов

Вад.В. Воеводин

С.А. Жуматий

Д.А. Никитенко


Библиографические ссылки

  1. Hewitt E. Cassandra: the definitive guide. Cambridge: O’Reilly Media, 2010.
  2. White T. Hadoop: the definitive guide. Cambridge: O’Reilly Media, 2009.
  3. Pig project (http://pig.apache.org/).