"РСК СКИФ": охлаждение суперкомпьютеров горячей водой

Компания<РСК СКИФ>, ведущий в России и СНГ разработчик и интегратор суперкомпьютерных решений нового поколения на базе архитектур корпорации Intel и жидкостного охлаждения, впервые на территории стран бывшего СССР продемонстрировала технологическое решение для создания передовых суперкомпьютерных систем охлаждения на горячей воде. Этой теме был посвящен доклад технического директора компании Егора Дружинина на ведущей в СНГ суперкомпьютерной конференции<Научный сервис в сети Интернет: суперкомпьютерные центры и задачи>, проходившей 20-25 сентября в Абрау-Дюрсо (Краснодарский край).<РСК СКИФ>также выступила Золотым спонсором конференции.

Использование жидкостного охлаждения для создания наиболее энергоэффективных суперкомпьютерных систем — уже глобальный тренд в мировой индустрии. Об этом свидетельствуют последние результаты списка наиболее энергоэффективных суперкомпьютеров мира Green500, в котором уже почти год (в двух редакциях рейтинга за ноябрь 2009 г. и июнь 2010 г.) три верхние строчки занимают системы, созданные с применением жидкостного охлаждения. Все три суперкомпьютера установлены в Германии — в исследовательском центре Forschungszentrum Juelich (FZJ), Университетах Регенсбурга и Вупперталя, обеспечивая лучшие в мире показатели энергоэффективности в 773,38 MFLOPS (миллионов операций с плавающей запятой в секунду) в расчете на ватт потребляемой электроэнергии.

Жидкостное охлаждение, ранее использовавшееся только в вычислительных системах американских компаний Control Data и Cray, в последние годы приобретает все большую актуальность вследствие того, что суперкомпьютеры становятся все более производительными, растут их энергопотребление и тепловыделение, одновременно с этим увеличиваются затраты на электроэнергию и кондиционирование воздуха с помощью традиционных систем охлаждения. Согласно данным аналитического департамента компании APC, в современном центре обработки данных (ЦОД) порядка 50% энергопотребления уходит на обеспечение работы систем воздушного охлаждения (и только 36% электроэнергии потребляет, собственно, вычислительная нагрузка). Вода является в 4 тысячи раз более эффективным хладносителем по сравнению с воздухом. По оценкам специалистов компании<РСК СКИФ>, применение жидкостного охлаждения позволяет экономить до 30% от общего количества потребляемой ЦОДом электроэнергии.

Компания<РСК СКИФ>уже реализовала проект создания суперкомпьютера<СКИФ-Аврора ЮУрГУ>в Южно-Уральском государственном университете (Челябинск) с пиковой производительностью 24 TFLOPS (1 TFLOPS — один триллион операций с числами с плавающей точкой в секунду), ключевой особенностью которого является применение жидкостного охлаждения на уровне системных плат вычислительной стойки. Эта система обеспечивает лучшую энергоэффективность среди суперкомпьютеров СНГ по соотношению<производительность/энергопотребление>на уровне 200 MFLOPS/Вт для ЦОДа. Общая потребляемая мощность суперкомпьютерного комплекса<СКИФ-Аврора ЮУрГУ>составляет всего 120 кВт (а вычислительной стойки — 96 кВт), что обеспечивает исключительно эффективный показатель использования электроэнергии Power Usage Effectiveness (PUE) для ЦОДа на уровне 1,2. Кроме того, применение жидкостного охлаждения позволяет в 2,5-3 раза уменьшить общую площадь инсталляции системы (по сравнению с суперкомпьютерами на основе традиционного воздушного охлаждения) за счет минимизации габаритных размеров, необходимых для инфраструктуры охлаждения, и увеличения плотности вычислителя. Однако еще более перспективно использование в системах жидкостного охлаждения не холодной, а горячей воды.

<Энергетическая эффективность — включая производительность на единицу потребляемой мощности — является одним из основных принципов проектирования при разработке суперкомпьютерных решений компании<РСК СКИФ, поэтому нами изначально был сделан выбор в пользу систем жидкостного охлаждения. Разработку и использование систем охлаждения на горячей воде мы рассматриваем как следующий закономерный шаг для достижения еще более высокой энергоэффективности>, — подчеркнул Егор Дружинин.

Специалисты компании<РСК СКИФ>разработали технологическое решение с целью продемонстрировать на практике реализацию системы охлаждения на горячей воде и наглядно показать, что этот метод является следующим шагом для достижения более высокой энергоэффективности. Для этого был создан специальный испытательный стенд на основе вычислительного узла суперкомпьютера<СКИФ-Аврора>с новейшими 6-ти ядерными процессорами Intel Xeon серии 5600. Система жидкостного охлаждения включала в себя модуль точного регулирования температуры хладносителя, Температура контролировалась двумя независимыми системами измерения, включая тепловизор с функцией записи. В результате работы созданного технологического решения было установлено, что максимальная температура жидкости на выходе из теплообменного контура вычислителя составляет 55 градусов Цельсия (в отличие от стандартных 20-23 градусов), при этом наблюдалась устойчивая работа всей системы на базе 6-ядерных процессоров Intel Xeon серии 5600 в пределах допустимых температурных режимов.

Применение горячей воды в системах жидкостного охлаждения суперкомпьютеров позволяет обеспечить естественный теплообмен с воздухом, тем самым, достигается эффект<фрикулинга>(free cooling) в течение всего календарного года. Использование такого метода позволяет полностью отказаться от применения в системе охлаждения фреонового контура, обеспечивая значительное снижение затрат на инфраструктуру, минимизацию влияния на озоновый слой Земли, а также повышение надежности работы суперкомпьютерного решения за счет упрощения системы охлаждения. Именно это и делает суперкомпьютер по-настоящему<зеленым>с точки зрения соблюдения даже самых жестких экологических стандартов.