Системы управления и обработки данных в экзабайтном диапазоне для экспериментов на Большом адронном коллайдере (Алексей Климентов, ISPRASOPEN-2019) — различия между версиями
Материал из 0x1.tv
StasFomin (обсуждение | вклад) |
StasFomin (обсуждение | вклад) (Batch edit: replace PCRE (\n\n)+(\n) with \2) |
||
[[File:Системы обработки данных в экзабайтном диапазоне для экспериментов на Большом адронном коллайдере.pdf|left|page=-|300px]]
{{----}}
[[File:{{#setmainimage:Системы обработки данных в экзабайтном диапазоне для экспериментов на Большом адронном коллайдере!.jpg}}|center|640px]]
{{LinksSection}}
<!-- * [ Talks page on site] -->
<!-- <blockquote>[©]</blockquote> -->
{{vklink|1499}}
{{fblink|2482151762037830}}
<references/>
<!-- topub -->
{{stats|disqus_comments=0|refresh_time=2021-08-31T18:23:45.196085|vimeo_plays=37|youtube_comments=0|youtube_plays=14}}
[[Категория:ISPRASOPEN-2019]]
[[Категория:Мониторинг]]
[[Категория:Распределенные системы]]
[[Категория:Data Analysis]] | |||
Текущая версия на 12:23, 4 сентября 2021
- Докладчик
- Алексей Климентов
Эксперименты в области физики элементарных частиц на Большом адронном коллайдера в ЦЕРН используют грид инфраструктуру в рамках консорциума WLCG. В частности, эксперимент АТЛАС использует около 400 К ЦПУ ядер, доступ к вычислительным ресурсам осуществляется через системы управления потоками заданий, загрузкой и управления данными.
Управляемый объем данных экспериментов на БАК составляет более 1 ЕБ. Однако, уже в период второго этапа работы коллайдера (2014/18 гг) стало очевидно, что ресурсов грид недостаточно, чтобы одновременно проводить обработку, анализ экспериментальных данных и моделирование редких физических процессов. Интеграция суперкомпьютерных ресурсов и ресурсов облачных вычислений с существующими ресурсами консорциума WLCG стало задачей, которая была успешно решена физическими экспериментами в последние два года.
Наличие гетерогенного пула ресурсов позволило использовать более 1.2М ядер ЦПУ в периоды пиковой нагрузки. Одновременно было показано, что созданные системы управления данными и потоками заданий разработаны таким образом, что позволяют работать с данными эксабайтного диапазона и использовать ресурсы в более чем 150 ВЦ по всему миру.
Научная программа ЦЕРН предполагает работу БАК в режиме высокой светимости в период 2026-2036 года. Количество данных на этом этапе работы коллайдера возрастет в 100 раз, что требует новых подходов к организации научных вычислений и методов обработки данных, а также использования новых вычислительных архитектур (до настоящего времени используются только процессоры класса х86).
В докладе подробно рассмотрена новая модель обработки данных, а также исследовательские проекты по использованию новых архитектур и суперкомпьютерных центров, создаваемых в Европе и США в рамках программ EuroHPC и Exascale computing.
Видео
Посмотрели доклад? Понравился? Напишите комментарий! Не согласны? Тем более напишите.
Презентация
Примечания и ссылки
Plays:51 Comments:0