Использование Kubernetes в качестве фреймворка для построения гибких и эффективных сценариев обработки научных данных (Антон Теслюк, ISPRASOPEN-2019)

Короткая ссылка: 20191206CD

Докладчик: Антон Теслюк

В этой работе мы представляем детали реализации программного конвейера для обработки экспериментальных данных структурных исследований одиночных частиц в инфраструктуре Kubernetes. Мы проанализировали модели использования программного обеспечения различной архитектуры, включая традиционные параллельные приложения на базе MPI, приложения, использующие вычисления на GPU, программное обеспечение с естественным параллелизмом данных. Также был исследован способ организации работы приложений с графическим интерфейсом пользователя. Для каждого типа приложений была предложена отдельная модель развёртывания в контейнеризированной среде.

In this talk we present the design and deployment details for Single Particle Imaging (SPI) experiments data analysis pipeline in Kubernetes infrastructure. We have analyzed various software usage patterns for different payloads. Components of the pipeline software include traditional HPC (MPI-based) applications, applications which require GPU computations, GUI-based software and the software which can be parallelized naturally by dividing the data into several independent parts (Data parallelism). For every payload type individual deployment approach was proposed.