Job Digest: подход к исследованию динамических свойств задач на суперкомпьютерных системах

Авторы

  • А.В. Адинец
  • П.А. Брызгалов
  • Вад.В. Воеводин
  • С.А. Жуматий
  • Д.А. Никитенко
  • К.С. Стефанов

Ключевые слова:

суперкомпьютер
производительность
исследование эффективности
мониторинг
параллельные вычисления
динамические характеристики задач
высокопроизводительные вычисления

Аннотация

Вместе с ростом масштаба вычислительных систем и решаемых на них задач растет и сложность написания эффективных программ. Причина этого кроется в том, что также возрастает и множество факторов, которые могут влиять на эффективность приложений. Свойства аппаратного и программного обеспечения суперкомпьютера, свойства самой исполняемой программы, взаимное влияние исполняемых программ друг на друга — все это необходимо учитывать для достижения высокой производительности. Это приводит к необходимости создания инструмента, который позволит разобраться, где, а главное почему происходит потеря производительности при выполнении программ и использовании суперкомпьютеров. В настоящей статье мы расскажем о разрабатываемом инструментарии и подробно остановимся на одном из используемых в нем подходов, который предназначен для исследования поведения задачи во время выполнения. Данный подход изучает динамические свойства задач, исследуемые с помощью средств мониторинга. Его цель состоит в предоставлении как администратору системы, так и пользователю базовых характеристик задачи по ее завершению для получения как качественной, так и детальной оценки каждого отдельно взятого запуска. Рассматриваемый подход, а также полученный в результате его применения отчет получили название «Job Digest».


Загрузки

Опубликован

2012-12-11

Выпуск

Раздел

Раздел 2. Программирование

Авторы

А.В. Адинец

П.А. Брызгалов

Вад.В. Воеводин

С.А. Жуматий

Д.А. Никитенко

К.С. Стефанов


Библиографические ссылки

  1. Methods and instrumental systems development for analysis of effectiveness of parallel programs and supercomputers (official site of RU-part of HOPSA project) (http://hopsa.parallel.ru).
  2. HOlistic Performance System Analysis (EU HOPSA website) (http://vi-hps.org/projects/hopsa/).
  3. Никитенко Д.А., Стефанов К.С. Исследование эффективности параллельных программ по данным мониторинга // Вычислительные методы и программирование. 2012. 13. 97-102.
  4. Адинец А.В., Жуматий С.А., Никитенко Д.А. Hoplang -язык обработки потоков данных мониторинга // Тр. Междунар. науч. конф. «Параллельные вычислительные технологии» (ПаВТ) 2012 (Новосибирск, март 26-30, 2012). Челябинск: ЮУрГУ, 2012. 351-359.
  5. Hoplang language for data processing of cluster monitoring systems (http://github.com/zhum/hoplang).
  6. Hadoop project homepage URL: http://hadoop.apache.org/.
  7. Apache PIG Latin official cite URL: http://pig.apache.org/.
  8. Адинец А.В., Брызгалов П.А., Воеводин Вад.В., Жуматий С.А., Никитенко Д.А. Об одном подходе к мониторингу, анализу и визуализации потока заданий на кластерной системе // Вычислительные методы и программирование. 2011. 12. 90-93.
  9. Адинец А.В., Брызгалов П.А., Жуматий С.А., Никитенко Д.А. Система визуализации параметров работы больших вычислительных систем // Тр. Междунар. науч. конф. «Параллельные вычислительные технологии» (ПаВТ) 2012 (Новосибирск, март 26-30, 2012). Челябинск: ЮУрГУ, 2012. 714.