Электричество в дата-центре

Чуть меньше 2-х лет прошло, или можно сказать — пролетело — с тех пор, как в нашем блоге появилась статья об открытии дата-центра «Цветочная 2» (ЦОД Цв-2). Кроме фотографий с шариками и губернатором, мы вкратце рассказали об инженерных системах этого дата-центра. И сразу возникли планы написать об этих системах подробнее и серьезнее.

Сегодня, наконец, удалось отвлечься от многих других дел и совершить задуманное. По сути, работа любого дата-центра держится на «трех китах» — электроснабжении, охлаждении и системах безопасности. А ключевой инфраструктурой среди них, вне сомнения, является система электроснабжения.

Бесперебойная основа

Дата-центр «Цветочная 2» рассчитан на потребляемую мощность 2500 кВА и соответствует уровню Tier III, согласно которому каналы электропитания и охлаждения продублированы по схеме резервирования 2N (дважды). Это дает значительное преимущество в части надежности электроснабжения как клиентам, размещающим свое оборудование (услуга «Colocation»), так и службе эксплуатации самого ЦОД — работы по техническому обслуживанию или замене вышедших из строя компонентов могут производиться без отключения электропитания дата-центра (в том числе, оборудования клиентов).

Электричество поступает в дата-центр по двум независимым вводам от городской электросети и подается на две трансформаторные подстанции ТП 10(6)/0,4. Подстанции являются собственностью Селектел и расположены в комплексе зданий, также принадлежащих компании. Это еще один важный для клиентов момент в части надежности инфраструктуры — в России довольно большое число дата-центров расположены на арендованных площадях, а потому зависят от конъюнктуры рынка аренды и даже от настроений собственников.

В трансформаторных подстанциях высокое «городское» напряжение 6 кВ понижается до 380 В (400 В), и далее подается на главные распределительные щиты (ГРЩ) с системой защитной автоматики.

Это электропитание может иметь различного рода помехи (всплески и провалы, высокочастотный шум и др.), а потому не пригодно для чувствительных к помехам серверов и коммуникационного оборудования, а также систем кондиционирования и автоматики самого дата-центра.

Поэтому по шинопроводам электропитание 380 В (400 В) далее подается на 2 группы промышленных ИБП (источников бесперебойного питания), каждая из которых представляет модуль 6х400 кВА с функцией двойного преобразования. Здесь переменное напряжение выпрямляется в напряжение постоянного тока, а затем вновь преобразуется в переменное 380 В (400 В), но уже с идеальной формой синусоиды.

Кроме функции очистки от помех, ИБП выполняют и другую важнейшую задачу — обеспечивают электропитание дата-центра от АКБ (аккумуляторных батарей) в случае полного отключения внешнего «городского» электроснабжения на время перехода на аварийный источник электроснабжения — ДГУ (дизель-генераторные установки). Для этих целей ИБП соединены с взаимно резервируемыми матрицами из 130 аккумуляторных 12 В батарей. Заряда этих батарей хватает на период работы дата-центра под полной нагрузкой до 10 минут. При пропадании внешнего электропитания, автоматика АВР (автоматического ввода резерва) запускает в отдельном помещении три ДГУ мощностью 1800 кВА каждая, которые могут обеспечивать электроэнергией дата-центр неограниченно долгое время.

ДГУ имеют резервирование N+1, то есть для нормальной работы ЦОД «Цветочная 2» достаточно двух ДГУ, плюс одна ДГУ — в резерве. На территории дата-центра хранится запас топлива на 48 часов работы ДГУ, а также имеется сервисное соглашение с двумя поставщиками по экстренному подвозу топлива в случае продолжительного городского блэкаута.

В среднем требуется до 3 минут для запуска ДГУ и их выхода на режим рабочей нагрузки — заряда батарей ИБП с запасом хватает на эту операцию. Чтобы обеспечить уверенный запуск дизелей даже в зимнее время, происходит постоянный подогрев охлаждающей жидкости в ДГУ, и этот параметр контролируется как при регулярных обходах, так и удаленно через систему мониторинга.

Вводы внешнего «городского» электропитания и ДГУ подключены параллельно друг другу через АВР и их выходы запитывают вводно-распределительные устройства (2х ВРУ). С выхода двух ВРУ электропитание подается соответственно на 2 группы ИБП, затем с каждой группы ИБП по отдельным шинопроводам подается на щиты гарантированного электропитания (ЩГП), и затем уже непосредственно в машинные залы к распределительным шкафам питания стоек (ЩС). В этих шкафах напряжение 380 В (400 В) разделяется на шины 230 В для питания компьютерного и сетевого оборудования. ИБП обеспечивают европейский стандарт питания 400/230 В.

В каждый машинный зал приходит 4 раздельных шинопровода от двух независимых источников, причем проложены они разными путями во избежание одновременного механического повреждения. Так происходит резервирование питания по схеме 2N.

Точный учет потребления

Каждый шкаф ЩС имеет в своем составе интеллектуальное устройство, ведущее учет потребления электроэнергии в каждой стойке с записью показаний в лог-файл. Хотя для клиентов, размещающих свои серверы или стойки в машинном зале, расход электроэнергии не влияет на стоимость аренды, для персонала дата-центра эти сведения крайне важны. Необычно высокое или наоборот, низкое потребление говорит о возможной неисправности и требует внимания персонала.

С распределительных шкафов электропитание подается на стойки также по 2-м раздельным кабелям (по заказу клиентов, в т.ч. с устройством АВР в стойке). Серверы, имеющие по 2 блока питания (БП), подключаются к розеткам от разных вводов в стойку, а оборудование с одним БП — к розеткам АВР (опционально).

Обслуживание и мониторинг — залог надежности электропитания

Какая бы степень надежности ни закладывалась изначально в систему электропитания дата-центра, оборудование требует постоянного мониторинга и регулярного обслуживания. Вся информация о состоянии систем электропитания, включая ДГУ, собирается на больших экранах в Центре мониторинга. Кроме того, в случае возникновения отклонений от нормы, сообщения приходят на планшеты дежурных инженеров.

Согласно регламенту, дежурные инженеры и электрики совершают постоянные обходы машинных залов и, соответственно, помещений, где размещено силовое электрооборудование. Каждый сотрудник имеет при себе планшет с планом осмотра. На планшете кроме плана обхода, также присутствует описание задачи осмотра в каждой точке обхода.

После осмотра помещения или участка с оборудованием, сотрудник делает отметку в планшете, и по окончанию обхода автоматически формируется протокол обхода, который сохраняется в архиве дата-центра. Внешне это похоже на то, как пилоты обязательно зачитывают инструкцию (чек-лист) по проверке систем самолета перед взлетом, даже если знают эту инструкцию наизусть.

Кроме мониторинга, электрооборудование с определенной периодичностью проходит регламентное обслуживание. Вначале оно в рабочем состоянии осматривается с помощью тепловизора на предмет греющихся контактов, затем отключается и протягиваются все контакты. Одновременно происходит очистка шкафов и иных агрегатов от пыли. К слову, вход в помещения с оборудованием разрешен только в бахилах, а в некоторые из них — еще и в пылезащитных комбинезонах.

Добро пожаловать на экскурсию в дата-центр

Вот такое сложное электрическое хозяйство обеспечивает питанием серверы и сетевое оборудование клиентов Selectel. Периодически в рамках открытых семинаров или иных мероприятий в Selectel проводятся экскурсии по дата-центрам Цветочная 1/Цветочная 2, где клиенты могут увидеть системы электропитания, кондиционирования и обеспечения безопасности непосредственно в действии.

Следите за мероприятиями Selectel на этой странице, или подпишитесь на нашу рассылку и всегда будете в курсе новых семинаров и бесплатных учебных курсов, в том числе и тех, где в программу входит экскурсия по дата-центру.