Как это работает: мониторинг энергоснабжения ЦОД Selectel

Как вы думаете, что может быть общего у этих трех событий — пользователь ВКонтакте запостил у себя новую фотку, кто-то другой совершил покупку в сети с оплатой картой через систему Assist, а третий человек пригнал свой автомобиль в CarPrice и его цена появилась в аукционной ленте?

И каждый из этих людей получил тот результат, который ожидал?

Ответ таков: все эти действия стали возможными благодаря тому, — здесь мы пропустим множество промежуточных уровней и взаимосвязей … — что на серверы с этими приложениями в дата-центре Selectel подается надежное и бесперебойное электропитание, и его параметры все время контролируются. Да, как бы примитивно это ни звучало, в основе всей индустрии IT лежит именно инфраструктура электропитания. Мы уже рассказывали о системе электроснабжения ЦОД в деталях в статье Путь электричества, а сейчас время осветить тему мониторинга.

Мониторинг против 2-го закона термодинамики

Не будет преувеличением сказать, что инфраструктура электропитания — это как раз та область, в которой во всей своей красе или, что вернее, неприглядности, проявляется 2-й закон термодинамики: «Любая система стремится к хаосу, если не тратить энергию на поддержание в ней порядка». Вот эта важнейшая задача, — не допустить хаоса в энергоснабжении дата-центра, — и возложена на многочисленные многоуровневые системы мониторинга параметров электропитания и команду технической службы Selectel.

Давайте посмотрим, как электроэнергия от общегородской сети пройдет по всем уровням энергоснабжения дата-центра «Цветочная 2» Selectel (вот он на фото) и достигнет блока питания конкретного сервера или дискового хранилища. И, конечно, расскажем о том — какие параметры электропитания измеряются на каждом уровне и этапе, — ведь невозможно управлять тем, что не измеряется.

Почему мы решили рассказать о мониторинге электропитания? Мы понимаем, что клиентов компании интересует не абстрактные, пусть и грандиозные системы в инфраструктуре ЦОД, а бесперебойная работа именно их оборудования. В свою очередь, для Selectel как коммерческой организации самым важным критерием работы бизнеса являются довольные клиенты, — это вы своими деньгами помогаете нам расти, а своими замечаниями и идеями — совершенствовать качество сервисов компании.

Экскурсия по системе мониторинга

Наверно, никому не интересно читать в блоге сухие выдержки из инструкций и регламентов по мониторингу электропитания, не правда ли? Поэтому — добро пожаловать на экскурсию!

У компании Selectel 6 дата-центров (ЦОД, центров обработки данных), и об электропитании мы расскажем на примере дата-центра «Цветочная 2» в Санкт-Петербурге. В остальных пяти дата-центрах, — «Цветочная 1» в Санкт-Петербурге, «Дубровка 1-2-3» в Ленинградской области и «Берзарина 1-2» в Москве, — подача электроэнергии и ее мониторинг осуществляются по сходным принципам и регламентам.

Мониторинг начинается с момента, как электроэнергия попадает к дата-центру. К зданию ЦОД «Цветочная 2» проложены два независимых электрических кабеля, так называемых фидера.  По каждому из фидеров к дата-центрам на Цветочной улице приходит высокое напряжение 6 кВ (в других дата-центрах 10-20 кВ). Чтобы начать использовать его для нужд дата-центра, вначале напряжение понижается до 380 В на двух трансформаторных подстанциях ТП1/ТП2 потребительского класса ТП 6-10/0,38 кВ, расположенных на территории дата-центра. Измеряется напряжение и частота электрического тока как на входе в подстанции, так и на выходе. Также измеряется температура внутри подстанций, которая не должна превышать определенных пределов.

С трансформаторных подстанций внешнее питание попадает на две группы источников бесперебойного питания (ИБП), работающих в связке с блоками (матрицами) 12 В батарей. На источниках бесперебойного питания проводится мониторинг входного напряжения питания, состояния ИБП, состояния инверторов, конденсаторов и вентиляторов. На выходе кластеров ИБП мы измеряем и отслеживаем напряжение и частоту.

Батарейные блоки — это свинцовые 12 В аккумуляторы, сродни автомобильным, и соединенные между собой в огромные матрицы. Кстати, помните обсуждение в интернете, что якобы батареи для автомобилей Tesla собраны из сотен пальчиковых батареек? Так вот резервное питание для ЦОД обеспечивается именно так — более чем сотней обычных 12 В аккумуляторов. Температура и напряжение на батарейных блоках проверяется в режиме реального времени. Если какая-либо 12 В батарея выйдет из строя, техническая служба Selectel своевременно узнает об этом и проведет ее замену.

В случае, если на обеих подстанциях ТП1/ТП2 полностью пропадает входное напряжение, подаваемое из города, емкости батарейных блоков хватит на 10 минут работы ЦОД под полной нагрузкой. За это время запускаются дизель-генераторные установки (ДГУ), которые принимают на себя всю нагрузку. Кроме параметров выходного напряжения с ДГУ, на этих установках мониторится еще очень много параметров. Это обороты двигателя, температура и давление масла, температура охлаждающей жидкости, запас топлива, активная и полная отдаваемая мощность, общий пробег в моточасах и еще ряд параметров.

Установки ДГУ постоянно находятся в пред-прогретом состоянии, температура масла и охлаждающей жидкости в моторах поддерживается у отметки +40С. Это позволяет легко запустить дизели в холодное время года, и в течение одной минуты обеспечить быстрый прогрев и выход на режим полной нагрузки.

Электропитание, поступающее от ИБП, затем поступает в машинные залы на силовые шкафы и заводится в стойки для серверов, систем хранения и сетевого оборудования. Внутрь стоек приходят два независимых взаимозаменяемых ввода электропитания 220 В. Это сделано для того, чтобы иметь возможность устанавливать в стойки серверы и системы хранения с двумя блоками питания по схеме резервирования 2N. Входное электропитание стоек также измеряется и отслеживается, — напряжение и потребляемая мощность. Таким образом, техническая служба Selectel знает потребляемую мощность как всего ЦОДа, так и каждой отдельной стойки.

Если в стойку устанавливается IT-оборудование всего с одним блоком питания (например, у клиента именно такое оборудование), то можно опционально задействовать стоечный АВР (блок автоматического ввода резерва), который в случае пропадания напряжения на одном из входов, переключает питание на другой стоечный вход. Это происходит настолько быстро, что работа IT-оборудования не прерывается. Состояние АВР также мониторится, и техническая служба Selectel имеет всю достоверную информацию об электропитании каждой стойки.

Мы проследили весь путь электропитания ЦОД, начиная от внешней городской подстанции и заканчивая конкретной стойкой в машинном зале. А теперь наша экскурсия посетит зал управления и мониторинга инфраструктурой ЦОД, где мы заодно познакомимся и с сотрудниками Selectel, которые круглосуточно следят за надежным электропитанием оборудования, используемого нашими клиентами.

Наши герои: команда инженерно-технического отдела

Взаимозаменяемость, поддержка друг друга и наставничество — основные принципы работы команды инженерно-технического отдела (ИТО). В отделе работают около 40 специалистов, которые распределены на три смены по разным ЦОДам. При необходимости, сотрудники могут приходить на помощь другу другу, принимая на себя задачу отслеживания параметров электропитания и вентиляции в удаленном режиме, помогать друг другу советами.

Далее мы посмотрим видео, как работает команда ИТО в реальной обстановке с двух разных точек обзора. Татьяна Свирко, руководитель отдела ИТО рассказывает о процессе целиком у главного пульта мониторинга параметров электропитания и вентиляции ЦОД:

А теперь совершим обход критических точек инфраструктуры ЦОД и посмотрим на все глазами инженера Дмитрия Кострюкова:

Вот таким тщательным образом проверяется и мониторится вся инфраструктура дата-центра Selectel. Наши клиенты могут быть спокойны за свое оборудование!