Выбираем кондиционеры для ЦОД

Спрос на дата-центры за последние годы головокружителен и не сбавляет обороты. Ведомая движением в сторону облачных технологий, у этой цифровой экспансии словно нет и не будет конца. При этом операторы ЦОД все чаще сталкиваются с проблемой снижения капитальных затрат и при этом умудряются не терять своей прибыли, а заказчики продолжают требовать низких показателей PUE и полной отказоустойчивости.

Почему косвенное адиабатическое охлаждение является ключевым фактором отказоустойчивости дата-центра?

Чтобы выполнить все эти, казалось бы, взаимоисключающие условия, многие из компаний видят решение в косвенном адиабатическом охлаждении:

• Во-первых, как всем известно, это позволяет значительно снизить расходы
• Во-вторых, этот вид охлаждения предоставляет намного более высокий уровень отказоустойчивости.

Часто встречающиеся понятия климатического оборудования ЦОД:

Аварийное охлаждение: арендовать или покупать?

Жидкостное охлаждение

Жидкостное охлаждение – это волна, которая все идет и идет на нас, но никак не обрушится. Это всегда будет актуально, даже в будущем. Нельзя сказать, что технология постоянно обновляется, но всегда есть, что о ней рассказать. По сути, эта технология хороша тем, что отводит тепло в пассивном режиме, практически не потребляет энергию, а отработанное тепло образуется в высококонцентрированной и при этом пригодной к использованию форме: вода теплее 45ºC может использоваться для отопления близлежащих домов или парников.

При проектировании крупного центра обработки данных и выборе технических решений для дальнейшего использования серьезное внимание уделяют надежности и энергетической эффективности. Во время работы IT-оборудование вырабатывает большое количество теплоты, которую необходимо отводить. Специально для этих целей разрабатывается система кондиционирования помещений с технологическим оборудованием. Для различного IT-оборудования требуется различная плотность охлаждения. Обычно энергопотребление каждой стойки лежит в пределах от 2,5 до 20 кВт. В отдельных случаях тепловыделения от стойки могут возрастать до 40 кВт и даже до 80 кВт и выше ( супер  Сбои в работе оборудования ЦОДа  возникают не только вследствие отклонения от оптимальных температурных параметров. Не менее опасно для работы электронного оборудования нарушение режима влажности. Повышенная влажность – источник конденсата, вызывающего коррозию проводников и окисление контактов, что в свою очередь может вызвать выход из строя компонентов вычислительных систем. С другой стороны, недостаток влаги способствует разрушению лака на электронных печатных платах, высыханию изоляции силовой и коммутационной проводки, образованию статического  электричества, что может привести к  выходу из строя отдельных узлов.компьютерах). При проектировании системы кондиционирования необходимо обязательно учитывать все особенности конкретного объекта. В целом можно выделить три основных способа кондиционирования дата-центра:

• Все оборудование для кондиционирования или его значительная часть располагаются снаружи и не занимают полезного пространства внутри помещения (кондиционирование с помощью вентиляционных установок).
• Значительная часть оборудования для кондиционирования располагается в помещении ЦОД или в непосредственной близости, кондиционеры забирают теплый воздух, охлаждают его и раздают («дисплейсмент», стоечные охладители и другие способы).
• Значительная часть оборудования для кондиционирования располагается в помещении ЦОД или в непосредственной близости, для раздачи охлажденного воздуха используют фальшпол.

Последний из перечисленных способов имеет следующие плюсы:

• возможность подвода охлажденного воздуха непосредственно к стойкам;
• удобное размещение коммуникаций для работы IT-оборудования и других систем ЦОД под плитами фальшпола;
• гибкое решение, имеющее множество различных вариантов комплектации;
• возможно распределение весовой нагрузки по всей площади дата-центра;
• возможно большое расстояние между оборудованием, располагаемым в ЦОД и снаружи.

Наиболее распространенной системой кондиционирования для такого решения является прецизионный кондиционер шкафного типа.

Разнообразие задач, возникающих при построении системы кондиционирования ЦОД, предопределило широкий ассортимент применяемого оборудования. Ниже мы разберем все его основные виды. Речь пойдет о шкафных, внутрирядных и моноблочных прецизионных кондиционерах, а также о прецизионных сплит-системах и специфических модулях охлаждения. Отдельное внимание будет уделено вопросу комплектации прецизионных кондиционеров.

Кондиционеры для охлаждения ЦОД

Шкафные кондиционеры

Наиболее распространенный тип прецизионных кондиционеров — шкафные. Внешне они представляют собой шкаф, внутри которого, если речь идет о фреоновой системе, расположены компрессор, испаритель, терморегулирующий вентиль, вентилятор испарителя, воздушный фильтр. Кроме того, во внутреннем блоке дополнительно могут быть предусмотрены увлажнитель и нагреватель воздуха.

За пределами шкафа — в наружном блоке — помещается лишь конденсатор.

Шкафные кондиционеры подразделяются на несколько видов в зависимости от направления движения воздуха и типа холодоносителя.

Направление движения воздуха

Существуют три основных варианта исполнения шкафного кондиционера:

• с нижним выдувом воздуха под фальшпол,
• с фронтальным,
• с верхним выдувом воздуха.

Кондиционеры первого типа, очевидно, подходят для машинных залов с фальшполом. Холодный воздух, нагнетаемый под фальшпол, может подаваться через напольные решетки сразу в несколько коридоров.

Кондиционеры с верхним выдувом также способны раздать холодный воздух в несколько коридоров одновременно через подпотолочное пространство. Иными словами, они как бы «закидывают» холодный воздух через ряды стоек. При этом желательно, чтобы горячие коридоры были изолированы, то есть чтобы холодный воздух попал исключительно в холодные коридоры.

Наконец, кондиционеры с фронтальным выдувом раздают воздух непосредственно перед собой и неспособны доставить его в соседние коридоры. Такие кондиционеры устанавливают либо в середине ряда лицом к фронтальным сторонам ИТ-стоек, либо в конце холодного коридора. В обоих случаях кондиционеры обслуживают только стойки, расположенные в зоне прямой видимости.

Тип холодоносителя и количество источников холода

Гораздо более разнообразны шкафные кондиционеры с точки зрения вида используемого холодоносителя и количества принимаемых источников холода (рис. 1). Дело в том, что задача обеспечить максимальную надежность и бесперебойность холодоснабжения ЦОД потребовала резервирования как самих кондиционеров, так и источников холода. В результате кондиционеры часто имеют два ввода холодоносителя от разных источников.

Итак, в самом простом случае шкафной кондиционер имеет один ввод холодоносителя. В случае фреонового кондиционера это входные патрубки хладагента от выносного конденсатора, в случае водяного агрегата — водяные трубы от чиллера. Традиционно в сфере ЦОД фреоновые кондиционеры обозначают DX (Direct eXpansion — кондиционеры прямого расширения), а водяные — CW (Chilled Water — кондиционеры, работающие на охлажденной воде).

Третий вид кондиционеров представляет собой фреоновый кондиционер со встроенным водо-фреоновым конденсатором, в котором горячий хладагент отдает тепло потоку воды или гликолевого раствора. Внешним блоком такого кондиционера является градирня для охлаждения нагретой воды. Обозначение такой системы — G (Gradieren (нем.) — «выпаривать»).

Следующие четыре вида шкафных кондиционеров — системы, работающие от двух источников холода, то есть совмещающие в себе функции первых трех видов.

Так, существуют шкафные кондиционеры, подсоединяемые к двум различным выносным конденсаторам (можно условно обозначить DX+DX), другие подключаются к различным контурам охлажденной воды (CW+CW).

Следующий вид — кондиционер с фреоновым и водяным контурами (DX+CW). Такой агрегат включает в себя как фреоновый испаритель, так и водяной охладитель и, соответственно, имеет два ввода. Первый — фреоновый — для подключения к выносному конденсатору, второй — водяной — для подключения к контуру холодной воды.

Последний в нашем списке — кондиционер, в котором в отличие от предыдущего встроен водяной конденсатор для отвода тепла наружу с помощью воды посредством градирни (G+CW). Таким образом, он имеет два водяных ввода: первый от чиллера, второй от градирни.

Решения, предусматривающие сочетание надежности и энергоэффективности

Помимо рассмотренных вариаций некоторые производители предлагают собственные разработки, направленные на повышение энергоэффективности и надежности работы кондиционеров.

Одно из таких решений — DFC (Direct Free Cooling) — технология динамического естественного охлаждения от компании Stulz. Суть ее заключается в том, чтобы в холодный период года получать холод «бесплатно», то есть без задействования компрессора, в режиме свободного охлаждения. Настройка системы позволяет автоматически переключаться между энергоемким компрессионным режимом и энергосберегающим режимом свободного охлаждения, а также совмещать эти режимы в межсезонье, когда холодопроизводительности фрикулинга недостаточно для покрытия 100% теплоизбытков ЦОД.

В компании Vertiv (до 2017 года называвшейся Emerson Network Power) разработан экономайзер с насосной циркуляцией хладагента (рис. 2). Цель технологии — обеспечить эффективное охлаждение ЦОД в зимний и переходный периоды, когда наружная температура ниже температуры внутри машинного зала.

В данном случае шкафной кондиционер охлаждает воздух за счет фреона, однако в зимнее время фреон просто прокачивается по системе в жидком виде без фазового преобразования. Фактически одно и то же вещество летом является хладагентом для классического парокомпрессионного холодильного цикла, а зимой представляет собой холодоноситель в режиме фрикулинга.

Еще одна новаторская разработка от компании Stulz — технология DFC2. Здесь уже не обошлось без оригинальных изменений в конструкции кондиционера. Инженеры разработали перемещающийся в пространстве теплообменник для охлаждения воздуха (DX или CW в зависимости от типа системы). При понижении наружной температуры ниже +18°С теплообменник откидывается и размещается вдоль вертикальной стенки шкафного кондиционера (рис. 3). Далее в ЦОД направляется прохладный наружный воздух, предварительно подготовленный и очищенный.

Рис.3. Схема работы кондиционера, оснащенного технологией DFC2:

• слева – при наружной температуре выше +18°С воздуха, охлаждается в теплообменнике(DX или CW),
• справа – при наружной температуре ниже +18°С воздуха,  теплообменник(DX или CW) откидывается, и в ЦОД подаётся подготовленный и очищенный наружный воздух.

Общие соображения по выбору типа холодоносителя и количества источников холода

Выбор типа холодоносителя зависит от архитектуры системы охлаждения ЦОД, требуемой надежности и наличия резервных единиц. В частности, высоконадежные ЦОД помимо резервирования кондиционеров требуют их обязательного подключения к двум источникам холодоносителя. В центрах с меньшим уровнем надежности могут быть использованы кондиционеры с одним вводом холодоносителя.

В свою очередь, решение о применении энергосберегающих технологий следует принимать после расчета периода их окупаемости. С одной стороны, каждая такая технология потребует дополнительных капитальных затрат, с другой — центры обработки данных работают круглосуточно в течение целого года, то есть необходимое для окупаемости время может быть наработано весьма быстро.

Наконец, при установке кондиционеров с двумя вводами холодоносителя следует помнить, что два источника холода — это две раздельные, независимые друг от друга системы холодоснабжения, для каждой из которых потребуется предусмотреть свое собственное наружное оборудование, трассы, арматуру, автоматику.

Редкий объект способен выдержать нагромождение двух чиллерных систем, учитывая сложность обвязки и большое количество арматуры в подобных решениях. В связи с этим, например, кондиционеры типа CW+CW обычно применяют на объектах, где один водяной контур обслуживает исключительно ЦОД, а второй представляет собой уже существующий водяной контур, обслуживающий объект в целом, или иной источник холодной воды. Это может быть источник геотермального типа, промышленная градирня или холод расположенного рядом водоема.

Внутрирядные кондиционеры

Еще один массовый тип кондиционеров — внутрирядные. Они устанавливаются между стойками и охлаждают воздух, который перекачивают из горячего коридора в холодный. Из-за расположения внутрирядные кондиционеры часто называют междустоечными.

Эффективность такой системы выше, чем у шкафных кондиционеров. Внутрирядные кондиционеры осуществляют более локальное и нацеленное охлаждение и способны отводить более высокие удельные теплоизбытки.

Направление движения воздуха

Во всех внутрирядных кондиционерах воздух движется со стороны горячего коридора к холодному. Нюансы заключаются лишь в направлении выдува: классическим считается выдув воздуха прямо вперед (рис. 4). В компании Stulz приоритет отдают выдуву воздуха влево и вправо — вдоль ряда стоек (рис. 5). Во втором случае глубина кондиционеров больше, чем глубина ИТ-стойки, и кондиционеры выступают внутрь холодного коридора.

Тип холодоносителя и количество источников холода

Как и в случае шкафных кондиционеров, внутрирядные имеют несколько исполнений в зависимости от типа используемого холодоносителя. Это ранее описанные системы DX, CW и G, а также их комбинации с режимом свободного охлаждения (FC) — CW+FC и G+FC.

Общие соображения по выбору типа холодоносителя и количества источников холода при использовании внутрирядных кондиционеров соответствуют аналогичным рассуждениям в случае применения шкафных кондиционеров.

Моноблочные прецизионные кондиционеры

В малых серверных и на базовых станциях сотовых операторов распространены моноблочные прецизионные кондиционеры (рис. 6). Такие агрегаты устанавливаются на наружной стене внутри или снаружи серверной и работают по схеме традиционного моноблочного оконного кондиционера.

При выборе моноблочных кондиционеров следует обращать внимание на направление выдува холодного воздуха: верхний или нижний, подходящий в том числе и для серверных с фальшполом.

Практически все современные моноблочные прецизионные кондиционеры оснащены функцией свободного охлаждения. В этом режиме компрессоры отключаются, и кондиционеры вытягивают горячий воздух наружу, одновременно подавая в серверную уличный воздух через секцию фильтрации. Подобный режим проветривания незаменим в случае аварии или перегрева серверной: максимальный продув помещения осуществляется при минимальных энергозатратах.

Еще одно исполнение моноблочных кондиционеров — модели с функцией вентиляции замещением (Displacement). Как известно, основной источник повышенной скорости воздуха в малых серверных и базовых станциях — кондиционер. Кондиционеры типа Displacement подают холодный воздух в нижнюю часть помещения с медленной скоростью, снижая перемешиваемость. Это позволяет добиться увеличения стратификации воздуха по температуре: температура воздуха в верхней части помещения возрастет на несколько градусов. Работа кондиционеров и ИТ-стоек на увеличенном перепаде температур позволяет понизить расход воздуха и уровень шума.

Прецизионные сплит-системы

Прецизионные сплит-системы похожи на полупромышленные сплит-системы с внутренними блоками кассетного типа (рис. 7).

Основная сфера применения таких кондиционеров — небольшие по мощности и размерам серверные помещения и базовые станции. Кондиционеры не занимают места на полу, а их холодильная мощность, как правило, не превышает 20 киловатт.

Прецизионные сплит-системы также имеют функцию фрикулинга, для ее реализации внутренний блок должен иметь связь (напрямую или посредством воздуховода) с наружной средой. В режиме фрикулинга наружный блок полностью отключается, а внутренний блок обеспечивает приток воздуха с улицы и выброс горячего воздуха из помещения. В случае аварии или перегрева этот режим может быть использован в качестве экстренного интенсивного проветривания.

Другие виды прецизионных кондиционеров

К другим видам прецизионных кондиционеров относятся агрегаты, монтируемые внутрь стойки, подвешиваемые вместо задней дверцы стойки, встроенные в плитку фальшпола, модули свободного охлаждения и иные экзотические варианты.

Как правило, они не являются самодостаточными и фактически представляют собой модули охлаждения, работающие от внешнего источника холода, например охлажденной чиллером воды. Таким образом, их не совсем правильно называть «кондиционерами», более точные названия — «доводчики» или «модули охлаждения» .

Суть работы такого модуля — дополнительное снятие теплоизбытков в помещении или охлаждение конкретных высоконагруженных стоек. Также они могут применяться в небольших серверных из одной или нескольких стоек, где для каждой стойки будет предусмотрен свой небольшой охладитель.

Модули охлаждения, монтируемые внутрь стойки, выбрасывают горячий воздух в пространство помещения или по воздуховодам наружу.

Модули охлаждения, подвешиваемые на задней стороне стойки (рис. 8), охлаждают воздух, выходящий из ИТ-оборудования. Прошедший через такой модуль воздух попадает в помещение уже холодным, значит, в серверной не возникают горячие коридоры. Стойки с такими блоками охлаждения могут быть расположены вблизи рабочих мест.

Модули охлаждения, встроенные в плитку фальшпола, представляют собой активную (то есть имеющую вентилятор) напольную решетку со встроенным теплообменником, подключенным к системе холодоснабжения (рис. 9). Они охлаждают воздух перед его попаданием в стойку, причем делают это достаточно безопасно для того, чтобы конденсат, в случае его появления, не проник внутрь стойки.

Модули свободного охлаждения (модули фрикулинга) — это вентиляционные агрегаты, монтируемые на наружную стену и осуществляющие подачу наружного воздуха в серверную, фильтруя и смешивая его с рециркуляционным потоком для достижения заданной температуры.

Они не имеют компрессора, теплообменников, труб, не требуют холодоносителя. Таким образом, они неспособны искусственно охладить помещение. Их основная задача — обеспечить максимально возможное охлаждение за счет наружного воздуха в зимний и переходный периоды, а также аварийное проветривание помещения.

Сфера применения модулей свободного охлаждения ограничена небольшими серверными помещениями и базовыми станциями.

Комплектация прецизионных кондиционеров

При подборе и заказе прецизионных кондиционеров следует уделить повышенное внимание их комплектации.

Для шкафных кондиционеров с нижним выдувом необходима рама с антивибрационным основанием, высота которой соответствует высоте фальшпола (впрочем, высота рамы регулируется с помощью ножек).

Поскольку в ЦОД нормируется не только температура воздуха, но и влажность, обязательным является наличие пароувлажнителя. Справедливости ради отметим, что пароувлажнитель необязательно предусматривать в каждом кондиционере — достаточно одного или нескольких устройств на каждый машинный зал в зависимости от его площади.

Параметры секции фильтрации зависят от многих факторов. Наиболее часто встречающийся вариант — применение фильтра класса очистки G4. На некоторых объектах требуется более тонкая очистка и предусматривают двухступенчатую фильтрацию воздуха G4+F7.

Еще один вид дополнительного оборудования — микропроцессоры и дисплеи. Микропроцессор должен быть включен в любой кондиционер, но центральный микропроцессор предусмотрен один на машинный зал. Дисплей также необходим как минимум один на машинный зал, однако для удобства может быть предусмотрен и в каждом кондиционере — это вопрос бюджета.

В некоторых случаях требуется выносной графический дисплей. Он может пригодиться для удаленного мониторинга. Кроме того, он необходим для таких кондиционеров, как прецизионные сплит-системы, поскольку зачастую к ним нет постоянного доступа в процессе эксплуатации.

Как правило, обязательными являются датчики утечки воды и воздушные заслонки с электроприводом. Для взаимосвязи нескольких кондиционеров могут потребоваться сетевой адаптер и специальный информационный кабель. Более подробный перечень дополнительного и базового оборудования, входящего в комплектацию кондиционера, следует уточнять у производителя.

Экономия на квадратных метрах. Многоэтажная серверная ферма

Наблюдается спрос на площадки для развертывание серверных ферм в густонаселенных городах. Но тут возникает проблема, как уместить такой ЦОД на городской территории, где каждый свободный клочок земли является дефицитным ресурсом. Вдохновением для использования такого подхода в строительстве ЦОД поспособствовал пятиэтажный дата-центра Marilyn в Париже:

Компания Vert из Квебека не так давно нашла подход к решению такой проблемы как нехватка места, и уже получила патент США на многоэтажный модульный ЦОД. Руководители проекта продвигают идею строительства многоэтажных серверных ферм. Само название «vert» на двух национальных языках Канады прямо выражает концепцию самой серверной фермы, на французском означает — зеленый, а на английском -вертикаль. Под проект планируется застроить участок земли площадью всего 112 квадратных метров.

На первом этаже предполагается разместить все электрические и механические системы серверной фермы, машзалы расположить на 4 этажах повыше, так как конструкция позволяет это. В каждом машзале будет размещено до 120 монтажных стоек с ИТ — оборудованием. Будет организовано движение потока охлажденного воздуха через несколько этажей.

Наши небольшие по занимаемой площади постройки не уступают в эффективности серверным фермам Google или Facebook. Квебек может использовать фрикулинг десять месяцев в году, и это поможет достичь коэффициента энергоэффективности PUE на уровне 1,11.», — утверждает маркетинговый директор Савард.

Для создания ЦОД используются быстросборные модули. Такие модули будут доставлены на место расположения серверной фермы с помощью стандартных грузовых автомобилей.

Материалы по теме:

Кондиционирование высокоплотных центров обработки данных

• Энергоэффективное охлаждение ЦОД
• Кондиционирование среднего ЦОД
• Прецизионные кондиционеры ЦОД
• Выбираем кондиционеры для ЦОД
• Кондиционирование малых ЦОД
• Требования к СКВ ЦОД 
• Снижение PUE в ЦОДах
• Плавучие ЦОД

Применение климатических балок в помещениях

Опубликовано: 12.05.2020

Климатические балки — ​это устройства для поддержания оптимальной температуры в помещении путем охлаждения и нагрева воздуха. Существует несколько видов климатических балок, каждый из которых имеет свои особенности. Климатические балки (их также называют охлаждающими балками) начали применяться в Европе и Северной Америке в середине 1990-х годов в качестве альтернативы классическим системам кондиционирования. В последние годы в России их активно продвигают компании FlackWoods, TROX, Swegon и другие. Применение охлаждающих балок оправданно в помещениях …

Prihoda. Преимущества применения

Опубликовано: 28.04.2020

Сегодня вопрос повышения качества лабораторных и медицинских услуг стоит особенно остро. Мы столкнулись с ситуацией, когда существующих возможностей явно не достаточно. Потребность в оперативном и качественном медицинском обслуживании, в точном проведении анализа биологических материалов, критически превышает возможности отрасли здравоохранения в целом. В проектировании и строительстве современных лабораторий, медицинских учреждений важнейшую роль играет система воздухораспределения в …

Искусственный интеллект в климатехнике

Опубликовано: 27.04.2020

В последние годы вместе с бурным развитием вычислительной техники и цифровых технологий стало возможным и развитие искусственного интеллекта. Эта отрасль очень молода, и, безусловно, все основные открытия и проекты еще впереди. Однако уже сегодня можно перечислить ряд достижений, доступных массовому пользователю. Об искусственном интеллекте Искусственный интеллект — ​это способность технических средств выполнять творческие функции, которые традиционно считаются прерогативой человека. Речь идет о распознавании …