Электричество в дата-центре
berezin

Чуть меньше 2-х лет прошло, или можно сказать — пролетело — с тех пор, как в нашем блоге появилась статья об открытии дата-центра «Цветочная 2» (ЦОД Цв-2). Кроме фотографий с шариками и губернатором, мы вкратце рассказали об инженерных системах этого дата-центра. И сразу возникли планы написать об этих системах подробнее и серьезнее.

Сегодня, наконец, удалось отвлечься от многих других дел и совершить задуманное. По сути, работа любого дата-центра держится на «трех китах» — электроснабжении, охлаждении и системах безопасности. А ключевой инфраструктурой среди них, вне сомнения, является система электроснабжения.

Бесперебойная основа

Дата-центр «Цветочная 2» рассчитан на потребляемую мощность 2500 кВА и соответствует уровню Tier III, согласно которому каналы электропитания и охлаждения продублированы по схеме резервирования 2N (дважды). Это дает значительное преимущество в части надежности электроснабжения как клиентам, размещающим свое оборудование (услуга «Colocation»), так и службе эксплуатации самого ЦОД — работы по техническому обслуживанию или замене вышедших из строя компонентов могут производиться без отключения электропитания дата-центра (в том числе, оборудования клиентов).

Безопасность - самое главное. Таблички Работают люди

Электричество поступает в дата-центр по двум независимым вводам от городской электросети и подается на две трансформаторные подстанции ТП 10(6)/0,4. Подстанции являются собственностью Селектел и расположены в комплексе зданий, также принадлежащих компании. Это еще один важный для клиентов момент в части надежности инфраструктуры — в России довольно большое число дата-центров расположены на арендованных площадях, а потому зависят от конъюнктуры рынка аренды и даже от настроений собственников.

Трансформаторные подстанции ТП 10(6)/0,4 ЦОД Selectel

В трансформаторных подстанциях высокое «городское» напряжение 6 кВ понижается до 380 В (400 В), и далее подается на главные распределительные щиты (ГРЩ) с системой защитной автоматики.

Автоматика защиты электропитания ЦОД

Это электропитание может иметь различного рода помехи (всплески и провалы, высокочастотный шум и др.), а потому не пригодно для чувствительных к помехам серверов и коммуникационного оборудования, а также систем кондиционирования и автоматики самого дата-центра.

Главные распределительные щиты (ГРЩ)

Поэтому по шинопроводам электропитание 380 В (400 В) далее подается на 2 группы промышленных ИБП (источников бесперебойного питания), каждая из которых представляет модуль 6х400 кВА с функцией двойного преобразования. Здесь переменное напряжение выпрямляется в напряжение постоянного тока, а затем вновь преобразуется в переменное 380 В (400 В), но уже с идеальной формой синусоиды.

Группы промышленных ИБП в ЦОД Selectel

Кроме функции очистки от помех, ИБП выполняют и другую важнейшую задачу — обеспечивают электропитание дата-центра от АКБ (аккумуляторных батарей) в случае полного отключения внешнего «городского» электроснабжения на время перехода на аварийный источник электроснабжения — ДГУ (дизель-генераторные установки). Для этих целей ИБП соединены с взаимно резервируемыми матрицами из 130 аккумуляторных 12 В батарей. Заряда этих батарей хватает на период работы дата-центра под полной нагрузкой до 10 минут. При пропадании внешнего электропитания, автоматика АВР (автоматического ввода резерва) запускает в отдельном помещении три ДГУ мощностью 1800 кВА каждая, которые могут обеспечивать электроэнергией дата-центр неограниченно долгое время.

Электропитание дата-центра от АКБ (аккумуляторных батарей) в ЦОД Selectel

ДГУ имеют резервирование N+1, то есть для нормальной работы ЦОД «Цветочная 2» достаточно двух ДГУ, плюс одна ДГУ — в резерве. На территории дата-центра хранится запас топлива на 48 часов работы ДГУ, а также имеется сервисное соглашение с двумя поставщиками по экстренному подвозу топлива в случае продолжительного городского блэкаута.

автоматика АВР (автоматического ввода резерва) запускает в отдельном помещении три ДГУ мощностью 1800 кВА каждая,

В среднем требуется до 3 минут для запуска ДГУ и их выхода на режим рабочей нагрузки — заряда батарей ИБП с запасом хватает на эту операцию. Чтобы обеспечить уверенный запуск дизелей даже в зимнее время, происходит постоянный подогрев охлаждающей жидкости в ДГУ, и этот параметр контролируется как при регулярных обходах, так и удаленно через систему мониторинга.

С выхода двух ВРУ электропитание подается соответственно на 2 группы ИБП

Вводы внешнего «городского» электропитания и ДГУ подключены параллельно друг другу через АВР и их выходы запитывают вводно-распределительные устройства (2х ВРУ). С выхода двух ВРУ электропитание подается соответственно на 2 группы ИБП, затем с каждой группы ИБП по отдельным шинопроводам подается на щиты гарантированного электропитания (ЩГП), и затем уже непосредственно в машинные залы к распределительным шкафам питания стоек (ЩС). В этих шкафах напряжение 380 В (400 В) разделяется на шины 230 В для питания компьютерного и сетевого оборудования. ИБП обеспечивают европейский стандарт питания 400/230 В.

В каждый машинный зал приходит 4 раздельных шинопровода от двух независимых источников, причем проложены они разными путями во избежание одновременного механического повреждения. Так происходит резервирование питания по схеме 2N.

В каждый машинный зал приходит 4 раздельных шинопровода от двух независимых источников

Точный учет потребления

Каждый шкаф ЩС имеет в своем составе интеллектуальное устройство, ведущее учет потребления электроэнергии в каждой стойке с записью показаний в лог-файл. Хотя для клиентов, размещающих свои серверы или стойки в машинном зале, расход электроэнергии не влияет на стоимость аренды, для персонала дата-центра эти сведения крайне важны. Необычно высокое или наоборот, низкое потребление говорит о возможной неисправности и требует внимания персонала.

Учет потребления электроэнергии в цод Селектел ведется на уровне каждой стойки.
Интеллектуальное устройство, ведущее учет потребления электроэнергии в каждой стойке

С распределительных шкафов электропитание подается на стойки также по 2-м раздельным кабелям (по заказу клиентов, в т.ч. с устройством АВР в стойке). Серверы, имеющие по 2 блока питания (БП), подключаются к розеткам от разных вводов в стойку, а оборудование с одним БП — к розеткам АВР (опционально).

Электропитание подается на стойки также по 2-м раздельным кабелям

Обслуживание и мониторинг — залог надежности электропитания

Какая бы степень надежности ни закладывалась изначально в систему электропитания дата-центра, оборудование требует постоянного мониторинга и регулярного обслуживания. Вся информация о состоянии систем электропитания, включая ДГУ, собирается на больших экранах в Центре мониторинга. Кроме того, в случае возникновения отклонений от нормы, сообщения приходят на планшеты дежурных инженеров.

Информация о состоянии систем электропитания, включая ДГУ, собирается на больших экранах в Центре мониторинга

Согласно регламенту, дежурные инженеры и электрики совершают постоянные обходы машинных залов и, соответственно, помещений, где размещено силовое электрооборудование. Каждый сотрудник имеет при себе планшет с планом осмотра. На планшете кроме плана обхода, также присутствует описание задачи осмотра в каждой точке обхода.

Каждый сотрудник имеет при себе планшет с планом осмотра.

После осмотра помещения или участка с оборудованием, сотрудник делает отметку в планшете, и по окончанию обхода автоматически формируется протокол обхода, который сохраняется в архиве дата-центра. Внешне это похоже на то, как пилоты обязательно зачитывают инструкцию (чек-лист) по проверке систем самолета перед взлетом, даже если знают эту инструкцию наизусть.

Кроме мониторинга, электрооборудование с определенной периодичностью проходит регламентное обслуживание. Вначале оно в рабочем состоянии осматривается с помощью тепловизора на предмет греющихся контактов, затем отключается и протягиваются все контакты. Одновременно происходит очистка шкафов и иных агрегатов от пыли. К слову, вход в помещения с оборудованием разрешен только в бахилах, а в некоторые из них — еще и в пылезащитных комбинезонах.

Добро пожаловать на экскурсию в дата-центр

Вот такое сложное электрическое хозяйство обеспечивает питанием серверы и сетевое оборудование клиентов Selectel. Периодически в рамках открытых семинаров или иных мероприятий в Selectel проводятся экскурсии по дата-центрам Цветочная 1/Цветочная 2, где клиенты могут увидеть системы электропитания, кондиционирования и обеспечения безопасности непосредственно в действии.

Следите за мероприятиями Selectel на этой странице, или подпишитесь на нашу рассылку и всегда будете в курсе новых семинаров и бесплатных учебных курсов, в том числе и тех, где в программу входит экскурсия по дата-центру.

Что еще почитать по теме

Ульяна Малышева 11 марта 2021

Кейс VCV: как победить HR-рутину

Сервис VCV, клиент Selectel, был создан для того, чтобы сделать найм сотрудников комфортнее, объективнее, быстрее. Как работает VCV, зачем сервису искусственный интеллект и в чем разница российского и…
Ульяна Малышева 11 марта 2021
Владимир Туров 1 сентября 2020

Дело совершенно секретного iPod

Это был обычный серый день в конце 2005 года. Я сидел на рабочем месте и писал код для следующей версии iPod. Вдруг без стука ворвался директор ПО для iPod, начальник моего начальника, и закрыл дверь.
Владимир Туров 1 сентября 2020

Новое в блоге

Ульяна Малышева 22 июля 2021

DCIM-платформа Racks: почему мы отказались от энтерпрайз-решения в пользу самописного приложения

Как вести учет и контроль оборудования, если у тебя более десятка серверных в трех географически разделенных дата-центрах? Как и многие крупные провайдеры, в России и за рубежом, Selectel начал реализ…
Ульяна Малышева 22 июля 2021
Ульяна Малышева 7 июля 2021

Продуктовый дайджест: новые процессоры AMD EPYC™ и управление базами данных через Terraform

Пополнение линейки процессоров AMD EPYC™, управление кластерами «Облачных баз данных» через Terraform-провайдер Selectel и подбор идеальной инфраструктуры под «Битрикс24» и «1С-Битрикс». Подробнее — о…
Ульяна Малышева 7 июля 2021
Эллада Нуралиева 22 июня 2021

Next-Generation Firewall от FortiGate: обзор функций и подключение сервиса

Для защиты инфраструктуры от угроз часто используют межсетевые экраны. Они могут быть как программными, так и аппаратными. Типичный межсетевой экран представляет собой фильтр сетевого трафика, который…
Эллада Нуралиева 22 июня 2021
Ульяна Малышева 18 июня 2021

Selectel развернул 100 виртуальных машин для олимпиады «Я — профессионал»

Завершился четвертый сезон олимпиады «Я — профессионал», на который зарегистрировались 576 012 студентов из 348 вузов России. Selectel стал одним из партнеров трека олимпиады «Робототехника», который …
Ульяна Малышева 18 июня 2021