Динамическое управление ресурсами виртуальных инструментов на вычислительном кластере

Авторы

  • А.А. Московский
  • А.Ю. Первин
  • B.J. Walker

Ключевые слова:

виртуальные инструменты
вычислительные кластеры
управление ресурсами
методы оптимизации
вычислительный сервис
веб-сервис

Аннотация

Технология виртуальных машин (ВМ) обеспечивает значительную гибкость в задачах распределения ресурсов. Как правило, нагрузка на приложения меняется с течением времени и, как следствие, меняются и потребности этого приложения в наращивании или высвобождении ресурсов этого приложения. Именно такие возможности предлагают ВМ. Разработана система для автоматического динамического управления аппаратными ресурсами приложений, работающих на вычислительном кластере. В задачи среды входит обеспечение надлежащего уровня сервиса приложения в допустимом интервале путем изменения доступных приложению ресурсов. Для эффективного управления ресурсами могут быть использованы профили приложений, собранные средствами нагрузочного тестирования. Разработанное программное обеспечение позволяет развертывать и управлять сервисами внутри виртуальных машин, которые могут быть запущены на нескольких компьютерах (узлах вычислительного кластера) одновременно. Разработаны и протестированы следующие приложения: вычислительный сервис и веб-сервис. Составлены профили этих приложений и изучены зависимости между производительностью приложений и ресурсами. Представлены промежуточные результаты исследования, направленного на изучение вопросов динамического управления ресурсами с использованием теории оптимального управления и методов оптимизации. Статья подготовлена по материалам доклада авторов на международной научной конференции «Параллельные вычислительные технологии» (ПаВТ-2008; http://agora.guru.ru/pavt2008).

Новые вычислительные технологии

Загрузки

Опубликован

2008-10-19

Выпуск

Том 9 (2008): Выпуск 1.

Раздел

Раздел 2. Программирование

Авторы

А.А. Московский

Институт программных систем имени А.К. Айламазяна (ИПС РАН)
ул. Петра I, 4А, 152021, село Веськово, Ярославская обл.

А.Ю. Первин

Институт программных систем имени А.К. Айламазяна (ИПС РАН)
ул. Петра I, 4А, 152021, село Веськово, Ярославская обл.

B.J. Walker

Hewlett-Packard Laboratories
6280 America Center Dr., San Jose, California, 95002, United States

Библиографические ссылки

  1. Xen hypervisor (http://www.xen.org/).
  2. Keahey K., Foster I., Freeman F., Zhang X., Galron D. Virtual workspaces in the grid // Proc. of the 11th Euro-Par Conf. Lisbon, 2005 (http://workspace.globus.org/papers/VW_EuroPar05.pdf). .
  3. Yousef L., Wolski R., Gorda B., Krintz C. Paravirtualization for HPC systems // Proc. Workshop on Xen in HPC Cluster and Grid Computing Environments. Sorrento, 2006, pp. 474-486
    doi 10.1007/11942634_49
  4. Novaes R.C., Roisenberg P., Sheer R., Northfleet C., Jornado J.H., Cirne W. Non-dedicated distributed environment: a solution for safe and continuous exploitation of idle cycles // Proc. Workshop on Adaptive Grid Middleware. New Orleans, 2003.
  5. Абрамов С., Московский А., Первин А., Коряка Ф. Развертывание испытательного полигона для Grid-приложений в Переславле-Залесском // Распределенные вычисления и грид-технологии в науке и образовании. Дубна, 2006.
  6. Andersen R., Vinter B. Harvesting idle Windows CPU cycles for grid computing // Int. Conf. on Grid Computing and Application. Las-Vegas, 2006. pp. 121-126.
  7. Moore J., Irwin D., Grit L., Sprenkle S., Chase J. Managing mixed-use cluster with Cluster-on-Demand. Durham: Duke University Press, 2002.
  8. Sotomayor B. A resource management model for VM based virtual workspaces. Chicago: University of Chicago, 2007.
  9. Kallahalla M., Uysal M., Swaminathan R., Lowell D.E., Wray M., Christian T., Edwards N., Dalton C.I., Gittler F. SoftUDC: a software-based data center for utility computing. Los Alamitos: IEEE Computer Society Press, 2004.
  10. Fu Y., Chase J., Chun B., Schwab S., Vahdat A. SHARP: An architecture for secure resource peering // ACM SIGOPS Operating Systems Review. 37, N 5. 133-148.
  11. Lai K., Rasmusson L., Adar E., Sorkin S., Zhang L., Huberman B. Tycoon: an implementation of a distributed market-based resource allocation system. Palo Alto: HP Labs, 2004.
  12. Moroni S., Jofre A., Figueroa N., Sahai A., Chen Y., Iyer S. A game-theoretic framework for Optimal SLA/Contract creation. Palo Alto: HP Labs, 2007.
  13. Bennani M., Menasce D. Resource allocation for autonomic data centers using analytic performance models // Proc. of the Second Int. Conf. on Autonomic Computing. Washington: IEEE Computer Society Press, 2005. pp. 229-240.
  14. Menasce D., Bennani M. Autonomic virtualized environment // Int. Conf. on Autonomic and Autonomous Systems. Washington: IEEE Computer Society Press, 2006.
  15. MapServer (http://mapserver.gis.umn.edu/).
  16. Воеводин Вл., Филамофитский M. Суперкомпьютер на выходные // Открытые системы. 2003. № 5. 43-48.
  17. Thain D., Livny M. Distributed computing in practice: The Condor Experience. Concurrency and Computation // Practice and Experience. 2004. 17, N 2-4. 323-356.
  18. Абрамов С., Адамович А., Инюхин А., Московский А., Роганов В., Шевчук Ю., Шевчук E. Т-система с открытой архитектурой // Суперкомпьютерные системы и приложения. Минск: ОИПИ НАН Беларуси, 2004. 18-22.
  19. Httperf homepage (http://www.hpl.hp.com/research/linux/httperf/).
  20. Chen Y., Iyer S., Liu X., Milojicic D., Sahai A. SLA decomposition: translating service level objectives to system level threshold. Palo Alto: HP Labs, 2007.
  21. Dean J., Ghemawat S. MapReduce: simplifed data processing on large clusters // Proc. of the 6th Symposium on Operating System Design and Implementation. San Francisco, 2004