HOPLANG: развитие языка обработки потоков данных мониторинга

Аннотация

В настоящее время актуальной проблемой является анализ эффективности суперкомпьютерных приложений. Основная задача проекта HOPSA — исследование эффективности с помощью анализа данных мониторинга. Поскольку суперкомпьютерные приложения — это всегда ресурсоемкие приложения, то объем данных, которые требуется анализировать, достаточно большой. Основным и наиболее распространенным инструментом обработки больших потоков данных в настоящее время является связка Pig + Hadoop, однако эта связка, как оказалось, не удовлетворяет потребностям проекта. В частности, возникают значительные задержки даже при обработке небольших запросов, не поддерживается обработка потоков данных, нет нужного уровня абстрагирования от различных баз данных и, наконец, не поддерживается работа с индексами в рамках баз данных. В этой связи для обработки данных кластерного мониторинга требуется специальный язык, получивший название HopLang. В статье освещается развитие языка за последние полгода и перспективы его развития. Статья рекомендована к публикации программным комитетом Международной научной конференции «Научный сервис в сети Интернет: поиск новых решений» (http://agora.guru.ru/abrau2012).