Разработка и внедрение системы управления погружным жидкостным охлаждением высокопроизводительного кластера (Сергей Карпеш, OSEDUCONF-2017) — различия между версиями

== Аннотация ==
;Докладчик: {{Speaker|Сергей Карпеш}}
<blockquote>
Наряду с традиционными воздушными системами охлаждения все большее распространение получают жидкостные. Жидкостное охлаждение более эффективно благодаря большей теплоемкости, коэф. термопередачи и т.д. Ещё одним плюсом является то, что жидкостные системы охлаждения гораздо компактнее традиционных воздушных кулеров и имеют меньшее энергопотребление. 

Однако, функционирование погружной системы охлаждения невозможно без дополнительного потребления энергии: насосы, перекачивающие охлаждающую жидкость, вентиляторы драйкулера. В статье рассмотрен процесс разработки системы управления погружным охлаждением с использованием открытого программного обеспечения (в узлах системы управления и на этапе разработки узлов).
</blockquote>


== Видео ==
{{vimeoembed|201654490|800|450}}
{{youtubelink|BduFDbQzXLw}}{{letscomment}}
== Слайды ==
[[File:Разработка и внедрение системы управления погружным жидкостным охлаждением высокопроизводительного кластера.pdf|left|page=-|256px]]

== Тезисы ==
<latex>
Современный высокопроизводительный кластер ---— сложная система, генерирующая огромное количество тепла. Если его не отводить, то последствия будут весьма серьеёзные. При этом выход из строя вычислительного модуля не является самым страшным, ведь при перегреве есть риск потерять данные, что можно смело назвать катастрофой.

На рынке множество вариантов систем охлаждения, но все они дорогие. Причеём термин «дороговизна» здесь применеён не к стоимости установки, а к стоимости обслуживания. В случае с воздушными системами охлаждения, расходы на охлаждение составляют примерно $60\ %$ от расходов на сами расчеёты (Power usage effectiveness $— 1,6$)<ref name="cite-1">Абрамов С. М., Амелькин\, С.\, А.} Энергоэффективность высокопроизводительных вычислительных комплексов: анализ современных достижений Российской суперкомпьютерной отрасли // НСКФ, Переславль-Залесский, 2016.</ref>.  
  \cite{pue}
Гораздо лучше обстоят дела с погружным жидкостным охлаждением, где показатель PUE держится на отметке $1.04$.  \cite{immers}<ref name="cite-2">Амелькин\, С.\,. А., Чичковский\, А.\, А., Абрамов\, С.\, М., Клюев\, Л.\, В.} Вычислительные кластеры Иммерс ---— инновации и практика использования. НСКФ, Переславль-Залесский, 2015.</ref>. Однако такая система сложна в проектировании и управлении. Она содержит бак, куда в дальнейшем будет установлено вычислительное оборудование, теплообменник, в котором от хладагента тепло передаеётся воде (более дешеёвой, но при этом более теплоеёмкой), и выносной драйкулер, где тепло передаеётся в атмосферу. В случае, когда драйкулер может находиться на небольшом расстоянии от бака, возможен отказ от водяного контура.

Главным плюсом погружной системы охлаждения, с точки зрения разработчика, является её инертность. В случае возникновения какой -либо неисправности в системе управления, у неё будет время на восстановление, так как большой объеём достаточно теплоеёмкой жидкости быстро нагреть до критической отметки физически невозможно.

Нами была разработана система, состоящая из двух частей. Первая занимается только управлением исполнительных устройств и включает в себя промышленный контроллер, набор датчиков температуры, давления, а так же устройства (преобразователи частоты) для управления насосами и вентиляторами. Вторая часть системы занимается визуализацией и логгированием данных. 

Сердцем аппаратного комплекса системы управления охлаждением является промышленный контроллер OWEN ПЛК-150. На борту имееются цифровые интерфейсы RS-232, RS-485, Ethernet. Весь обмен между ПЛК и внешними контроллерами выполняется по протоколу Modbus. Всего в наличии один преобразователь частоты на вентиляторы, два — для управления насосами и контроллер с дополнительными аналоговыми портами для подключения датчиков давления. 

Для корректной работы алгоритма управления необходимо знать температуру в баке. Но при этом датчики температуры должны располагаться рядом с процессорами, где жидкость будет более горячей. К сожалению использоватьИспользовать показания температуры с датчиков, встроенных в процессоры, затруднительно, так как придеётся вмешиваться в работу кластера. Отсюда следует, что датчиков температуры должно быть достаточно много. При использовании наработок производителей устройств для промышленной автоматизации возникает серьеёзная проблема, связанная с монтажом. Все: все производители используют аналоговые датчики, что подразумевает подведение пары проводников к каждому такому термометру. Учитывая их количество и количество входов на ПЛК (придеётся использовать внешние контроллеры ввода-вывода), получаем очень громоздкую и сложную в монтаже конструкцию. В рамках этого проекта был разработан контроллер для опроса множества (теоретический максимум $2^28$) цифровых термометров, что заметно упростило систему. 

Алгоритм управления разделяет систему на три контура.  
Первый контур представлен максимальной температурой бака и насосом охлаждающей жидкости. Температурой бака служит максимум из массива всех температур в баке. Данный контур управляет температурой процессоров путеём изменения скорости циркуляции хладагента.  
Второй контур состоит из водяного насоса, датчиков давления и температуры. Контур позволяет управлять температурой хладагента путеём изменения скорости циркуляции воды.  
Последний контур управляет температурой воды при помощи изменения потока воздуха. Он состоит из датчиков температуры на входе и выходе драйкулера и вентилятора. Использование преобразователей частоты позволяет более точно управлять исполнительными устройствами, что в итоге даеёт ещё большее снижение затрат.

Визуализация состояния кластера и сохранение данных выполнено в OpenSCADA[http://oscada.org/ OpenSCADA]<ref name="cite-3">Официальный сайт OpenSCADA — [http://oscada.org/ http://oscada.org/]</ref>. Она является открытой SCADA -системой, построенной по принципам модульности, многоплатформенности и масштабируемости. \cite{openscada} В качестве платформы выступает одноплатный компьютер Raspberry Pi 3 версии с одной небольшой модификацией (удалеён чип, отвечающий за беспроводные интерфейсы). Используется операционная система Debian.  
Две части системы соединяются при помощи одного провода Ethernet. У Raspberry имеется два сетевых интерфейса,: одним из которых она соединена с ПЛК, а вторым — с локальной сетью объекта, где установлен кластер. OpenSCADA запрашивает состояние системы из ПЛК по протоколу Modbus TCP. Все эти данные в неизменном виде сохраняются на внешний накопитель на случай, если придется анализировать работу анализа работы системы при сбое. Сохраняются показания всех датчиков температуры, информация об уровне жидкости, работе насосов и вентиляторов. Часть этих данных выводится на экран. Так как состояние системы должно быть видно с большого расстояния, а физические размеры дисплея достаточно малы, то отображать много данных, и вообще какие -либо числовые параметры, не имеет смысла.  Учитывая эти особенности, была разработана мнемосхема. 

%\begin{figure}
%\centering
%\ncludegraphics[width=0.6\textwidth]{walhi_screenshot}
%\end{figure}

При необходимости средствами OpenSCADA реализован удалеённый контроль по сети через Ввеб-интерфейс. Так как используется полноценный Linux, тосистему можно легко обезопасить систему от проникновения из вне множеством различных способов. 

В результате была разработана система управления погружным охлаждением высокопроизводительного кластера, достойно показавшая себя на испытаниях. На данный момент система подобного типа используется в нескольких проектах специального назначения, один из которых рассчитан на работу в экстремальных условиях (до $-−50^{\circ} °C$).

\begin{thebibliography}{9}
\bibitem{pue} \textit{Абрамов\,С.\,
\bibitem{immers} \textit{
\bibitem{openscada} ).\url{http://oscada.org/}
\end{thebibliography}
</latex>

{{----}}

== Примечания и отзывы ==
<!-- <blockquote>[©]</blockquote> -->

<references />

{{fblink|1845639479022398}}                                          
{{vklink|424}}                                          
<references/>
[[File:{{#setmainimage:Разработка и внедрение системы управления погружным жидкостным охлаждением высокопроизводительного кластера (Сергей Карп!.jpg}}|center|640px]]






<!-- topub -->




]]
{{stats|disqus_comments=0|refresh_time=2019-05-08T03:20:582021-08-31T18:12:44.637494818012|vimeo_comments=0|vimeo_plays=5|youtube_comments=01|youtube_plays=43}}133}}

[[Категория:OSEDUCONF-2017]]
[[Категория:ОбразованиеHigh Performace Computing]]
[[Категория:Open-source and hardware]]