Как это работает:  мониторинг энергоснабжения ЦОД Selectel

Как вы думаете, что может быть общего у этих трех событий — пользователь ВКонтакте запостил у себя новую фотку, кто-то другой совершил покупку в сети с оплатой картой через систему Assist, а третий человек пригнал свой автомобиль в CarPrice и его цена появилась в аукционной ленте?

И каждый из этих людей получил тот результат, который ожидал?

Ответ таков: все эти действия стали возможными благодаря тому, — здесь мы пропустим множество промежуточных уровней и взаимосвязей … — что на серверы с этими приложениями в дата-центре Selectel подается надежное и бесперебойное электропитание, и его параметры все время контролируются. Да, как бы примитивно это ни звучало, в основе всей индустрии IT лежит именно инфраструктура электропитания. Мы уже рассказывали о системе электроснабжения ЦОД в деталях в статье Путь электричества, а сейчас время осветить тему мониторинга.

Мониторинг против 2-го закона термодинамики

Не будет преувеличением сказать, что инфраструктура электропитания — это как раз та область, в которой во всей своей красе или, что вернее, неприглядности, проявляется 2-й закон термодинамики: «Любая система стремится к хаосу, если не тратить энергию на поддержание в ней порядка». Вот эта важнейшая задача, — не допустить хаоса в энергоснабжении дата-центра, — и возложена на многочисленные многоуровневые системы мониторинга параметров электропитания и команду технической службы Selectel.

Дата-центр «Цветочная 2» Selectel
Дата-центр «Цветочная 2» Selectel

Давайте посмотрим, как электроэнергия от общегородской сети пройдет по всем уровням энергоснабжения дата-центра «Цветочная 2» Selectel (вот он на фото) и достигнет блока питания конкретного сервера или дискового хранилища. И, конечно, расскажем о том — какие параметры электропитания измеряются на каждом уровне и этапе, — ведь невозможно управлять тем, что не измеряется.

Почему мы решили рассказать о мониторинге электропитания? Мы понимаем, что клиентов компании интересует не абстрактные, пусть и грандиозные системы в инфраструктуре ЦОД, а бесперебойная работа именно их оборудования. В свою очередь, для Selectel как коммерческой организации самым важным критерием работы бизнеса являются довольные клиенты, — это вы своими деньгами помогаете нам расти, а своими замечаниями и идеями — совершенствовать качество сервисов компании.

Экскурсия по системе мониторинга

Наверно, никому не интересно читать в блоге сухие выдержки из инструкций и регламентов по мониторингу электропитания, не правда ли? Поэтому — добро пожаловать на экскурсию!

У компании Selectel 6 дата-центров (ЦОД, центров обработки данных), и об электропитании мы расскажем на примере дата-центра «Цветочная 2» в Санкт-Петербурге. В остальных пяти дата-центрах, — «Цветочная 1» в Санкт-Петербурге, «Дубровка 1-2-3» в Ленинградской области и «Берзарина 1-2» в Москве, — подача электроэнергии и ее мониторинг осуществляются по сходным принципам и регламентам.

Мониторинг начинается с момента, как электроэнергия попадает к дата-центру. К зданию ЦОД «Цветочная 2» проложены два независимых электрических кабеля, так называемых фидера.  По каждому из фидеров к дата-центрам на Цветочной улице приходит высокое напряжение 6 кВ (в других дата-центрах 10-20 кВ). Чтобы начать использовать его для нужд дата-центра, вначале напряжение понижается до 380 В на двух трансформаторных подстанциях ТП1/ТП2 потребительского класса ТП 6-10/0,38 кВ, расположенных на территории дата-центра. Измеряется напряжение и частота электрического тока как на входе в подстанции, так и на выходе. Также измеряется температура внутри подстанций, которая не должна превышать определенных пределов.

Две группы промышленных ИБП в связке с 12 В батареями
Мониторятся две группы ИБП в связке с 12 В батареями

С трансформаторных подстанций внешнее питание попадает на две группы источников бесперебойного питания (ИБП), работающих в связке с блоками (матрицами) 12 В батарей. На источниках бесперебойного питания проводится мониторинг входного напряжения питания, состояния ИБП, состояния инверторов, конденсаторов и вентиляторов. На выходе кластеров ИБП мы измеряем и отслеживаем напряжение и частоту.

Батарейные блоки — это свинцовые 12 В аккумуляторы, сродни автомобильным, и соединенные между собой в огромные матрицы. Кстати, помните обсуждение в интернете, что якобы батареи для автомобилей Tesla собраны из сотен пальчиковых батареек? Так вот резервное питание для ЦОД обеспечивается именно так — более чем сотней обычных 12 В аккумуляторов. Температура и напряжение на батарейных блоках проверяется в режиме реального времени. Если какая-либо 12 В батарея выйдет из строя, техническая служба Selectel своевременно узнает об этом и проведет ее замену.

В случае, если на обеих подстанциях ТП1/ТП2 полностью пропадает входное напряжение, подаваемое из города, емкости батарейных блоков хватит на 10 минут работы ЦОД под полной нагрузкой. За это время запускаются дизель-генераторные установки (ДГУ), которые принимают на себя всю нагрузку. Кроме параметров выходного напряжения с ДГУ, на этих установках мониторится еще очень много параметров. Это обороты двигателя, температура и давление масла, температура охлаждающей жидкости, запас топлива, активная и полная отдаваемая мощность, общий пробег в моточасах и еще ряд параметров.

Установки ДГУ постоянно находятся в пред-прогретом состоянии, температура масла и охлаждающей жидкости в моторах поддерживается у отметки +40С. Это позволяет легко запустить дизели в холодное время года, и в течение одной минуты обеспечить быстрый прогрев и выход на режим полной нагрузки.

Электропитание, поступающее от ИБП, затем поступает в машинные залы на силовые шкафы и заводится в стойки для серверов, систем хранения и сетевого оборудования. Внутрь стоек приходят два независимых взаимозаменяемых ввода электропитания 220 В. Это сделано для того, чтобы иметь возможность устанавливать в стойки серверы и системы хранения с двумя блоками питания по схеме резервирования 2N. Входное электропитание стоек также измеряется и отслеживается, — напряжение и потребляемая мощность. Таким образом, техническая служба Selectel знает потребляемую мощность как всего ЦОДа, так и каждой отдельной стойки.

Внутрь стоек приходят два независимых взаимозаменяемых ввода электропитания 220 В
Вводы стоек 220 В мониторятся в постоянном режиме

Если в стойку устанавливается IT-оборудование всего с одним блоком питания (например, у клиента именно такое оборудование), то можно опционально задействовать стоечный АВР (блок автоматического ввода резерва), который в случае пропадания напряжения на одном из входов, переключает питание на другой стоечный вход. Это происходит настолько быстро, что работа IT-оборудования не прерывается. Состояние АВР также мониторится, и техническая служба Selectel имеет всю достоверную информацию об электропитании каждой стойки.

Мы проследили весь путь электропитания ЦОД, начиная от внешней городской подстанции и заканчивая конкретной стойкой в машинном зале. А теперь наша экскурсия посетит зал управления и мониторинга инфраструктурой ЦОД, где мы заодно познакомимся и с сотрудниками Selectel, которые круглосуточно следят за надежным электропитанием оборудования, используемого нашими клиентами.

Наши герои: команда инженерно-технического отдела

Взаимозаменяемость, поддержка друг друга и наставничество — основные принципы работы команды инженерно-технического отдела (ИТО). В отделе работают около 40 специалистов, которые распределены на три смены по разным ЦОДам. При необходимости, сотрудники могут приходить на помощь другу другу, принимая на себя задачу отслеживания параметров электропитания и вентиляции в удаленном режиме, помогать друг другу советами.

Главный пульте мониторинга параметров электропитания и вентиляции ЦОД
Дежурные инженеры ИТО у главного пульта мониторинга ЦОД «Цветочная 2»

Далее мы посмотрим видео, как работает команда ИТО в реальной обстановке с двух разных точек обзора. Татьяна Свирко, руководитель отдела ИТО рассказывает о процессе целиком у главного пульта мониторинга параметров электропитания и вентиляции ЦОД:

А теперь совершим обход критических точек инфраструктуры ЦОД и посмотрим на все глазами инженера Дмитрия Кострюкова:

Вот таким тщательным образом проверяется и мониторится вся инфраструктура дата-центра Selectel. Наши клиенты могут быть спокойны за свое оборудование!

Что еще почитать по теме

T-Rex 30 марта 2021

Что такое SMTP-протокол и как он устроен?

SMTP (Simple Mail Transfer Protocol) — протокол передачи почты. Он был представлен еще в 1982 году, но не теряет актуальности до сих пор. В статье разбираемся, какие задачи решает протокол и как он ра…
T-Rex 30 марта 2021
Владимир Туров 1 сентября 2020

Дело совершенно секретного iPod

Это был обычный серый день в конце 2005 года. Я сидел на рабочем месте и писал код для следующей версии iPod. Вдруг без стука ворвался директор ПО для iPod, начальник моего начальника, и закрыл дверь.
Владимир Туров 1 сентября 2020
T-Rex 21 августа 2020

TrendForce: цены на SSD упадут

Эксперты DRAMeXchange предсказывают значительное падение цен на оперативную память и твердотельные накопители в ближайшее время. Причина — сокращение спроса на чипы для NAND и DRAM.
T-Rex 21 августа 2020

Новое в блоге

Михаил Фомин 24 июня 2022

Docker Swarm VS Kubernetes — как бизнес выбирает оркестраторы

Рассказываем, для каких задач бизнесу больше подойдет Docker Swarm, а когда следует выбрать Kubernetes.
Михаил Фомин 24 июня 2022
Владимир Туров 5 октября 2022

DBaaS: что такое облачные базы данных

Рассказываем о сервисе управляемых баз данных в облаке и объясняем, как разделяется ответственность за работу кластеров БД между провайдером и клиентом.
Владимир Туров 5 октября 2022
Ульяна Малышева 30 сентября 2022

«Нулевой» локальный диск. Как мы запустили облако только с сетевыми дисками и приручили Ceph

Чем хороши сетевые диски и почему именно Ceph, рассказал директор по развитию ядра облачной платформы Иван Романько.
Ульяна Малышева 30 сентября 2022
Валентин Тимофеев 30 сентября 2022

Как проходит онбординг сотрудников ИТО? Что нужно, чтобы выйти на смену в дата-центр

Рассказываем, как обучаем новых сотрудников, какие задачи и испытания проходят инженеры прежде, чем выйти на свою первую смену.
Валентин Тимофеев 30 сентября 2022