Дмитрий Антонов

Если показать неподготовленному зрителю две совершенно разные стойки, то с очень большой вероятностью он выберет ту, в которой царит чистота и порядок. Кабели уложены ровно, ничего лишнего не торчит — как будто делали специально для рекламной фотосессии дата-центра. Вряд ли кто-то придет в восторг от хаотично набросанных кабелей питания, перепутанных оптических патч-кордов и сделает свой выбор в пользу такой стойки. На связи Дима, инженер дата-центра Selectel. Давайте посмотрим на две фотографии и попробуем понять, какая стойка собрана правильно. «Красивый» кабель-менеджмент. Источник. «Некрасивый» кабель-менеджмент. Источник. Ответ кажется очевидным, но в условиях реальной эксплуатации все чуть сложнее. Настолько идеальный внешний вид, как на первой картинке, не гарантирует вам похвалу от коллег за организацию структурированной кабельной системы (или СКС) в стойке. Давайте же посмотрим, по каким признакам и критериям стоит реально оценивать кабель-менеджмент, и почему «красиво» не всегда может быть правильно. Немного про серверные стойки Установка сервера в стойку, его настройка и организация кабель-менеджмента для меня стала уже рутиной. Но прежде чем разбираться, что отличает хорошо собранную стойку от проблемной, давайте ненадолго вернемся к основам. Так сказать, внесем ясность для тех, кто не является моими «коллегами по цеху». Начнем с оболочки. Сама серверная стойка представляет собой металлический каркас, внутри которого находятся монтажные направляющие. Высота внутри измеряется в юнитах (U), где 1U 44,45 мм. Кстати, один юнит равен одному старорусскому вершку — стандарт для 19-дюймовой стойки. Само оборудование устанавливается на салазки — металлические «палки», чем-то похожие на те, что стоят практически в любом шкафу или тумбочке, где есть выдвижные ящики. Только выдерживают они значительно больше. Конструкция салазок зависит от корпуса устройства, и каждый производитель горазд придумать, что его душе угодно. Салазки же крепятся одной частью к монтажным направляющим стойки, а второй — к самому оборудованию. Такая схема позволяет выдвигать сервер из стойки для обслуживания без необходимости полноценного демонтажа и травмирования позвоночных дисков инженера. Выдвинул, сделал свое дело и задвинул обратно. Никакое оборудование, конечно же, не заработает без подключения питания. Обычно за питание отвечает PDU — большой (зачастую даже умный) блок розеток, который доставляет электричество к установленным в стойке серверам. Как правило, на одну стойку ставится минимум два таких блока. Дата-центры стремятся к максимальной отказоустойчивости, поэтому два блока питания оборудования подключаются в два независимых ввода. Сломался один — сервер не остановит свою работу, прод не упадет, второй ввод и блок питания возьмет нагрузку на себя, пока бравые инженеры латают его соседа. По бокам стойки почти всегда предусмотрены кабельные зоны с вертикальными кабельными органайзерами (ВКО). Они позволяют прикреплять и аккуратно укладывать все провода стойки, освобождая пространство для воздушного потока. Именно сюда логично отводить патч-корды, чтобы они хаотично не висели. Источник. Ну и наконец — охлаждение самой стойки. Вариаций огромное множество, я же расскажу про то, что используется у нас. Все завязано на соседстве горячего и холодного коридора (ХК и ГК), через которые постоянно циркулирует воздух. В холодный коридор система охлаждения подает воздух низкой температуры. Вентиляторы серверов забирают холодный воздух со стороны передней панели, прогоняют его через компоненты и выбрасывают уже нагретым с задней панели — в горячий коридор. Из горячего коридора воздух возвращается в систему охлаждения, и цикл повторяется. У большинства видов оборудования воздух движется спереди назад, именно поэтому лицевая часть находится в ХК, а задняя — в ГК. Конечно, это не все элементы, которые можно встретить внутри серверной стойки, но для базового понимания, думаю, этого достаточно. Признаки хорошего кабель-менеджмента Теперь же перейдем к ключевому тезису данной статьи. Представим, что стойка собрана, кабели уложены, оборудование установлено. Со стороны — идеальная картинка. Можно ли считать работу выполненной? Не совсем: внешний порядок — лишь один из признаков хорошего кабель-менеджмента. Лично я выделяю четыре основных критерия, по которым можно его оценивать, давайте пройдемся по каждому. Не мешает охлаждению Каждый пункт из данного списка очень важен, но конкретно этот я бы назвал фундаментальным. Итак, что тут важно понять. Кабели, будь то оптика, медь или питание, не должны существенно перекрывать зоны забора и выхлопа воздуха. То есть плотная стена из кабелей спереди или сзади стойки — это очень плохой признак. Воздушный поток в таком случае будет сильно ограничен, что станет причиной повышения температуры внутри корпусов оборудования. Это, в свою очередь, может привести к перегреву и экстренному отключению, ускоренному износу компонентов и выходу из строя железа. Предпочтительно, кстати, использовать фальш-панели — специализированные пластины, которые закрывают пустые пространства и не дают воздуху просто так проходить через стойку. Таким образом, воздушный поток будет еще больше направлен на прохождение через оборудование. В общем, всегда нужно учитывать воздушный поток и максимально освобождать его, уводя любые кабели в бока стойки, к ВКО, где их можно аккуратно и красиво уложить. Не повреждает кабели Большой запас кабелей приводит к их нагромождению внутри стойки, а слишком короткий кабель, наоборот, может стать причиной повреждения оптики или меди. Никогда не стоит подводить кабели внатяжку — их внешний вид точно не должен напоминать тетиву лука. Любое неаккуратное действие в стойке — и линк, который давал оборудованию доступ в сеть, сломан: либо коннектор отвалился, либо повредился сам кабель. Всегда оставляйте разумную длину, не слишком много, не слишком мало. Как по мне, золотая середина — это когда кабель немного провисает. А еще всегда старайтесь отдавать предпочтение мягким текстильным стяжкам вместо нейлоновых. Таким образом, вы снизите риск повреждения оптических кабелей внутри «косы». Позволяет нормально обслуживать оборудование Вспомним «красивую» картинку из начала статьи — просто загляденье, но насколько это практично? По личному опыту скажу, что не очень. Каждая «коса» затянута твердыми стяжками во многих местах. Оптические патч-корды или трансиверы иногда приходится менять из-за деградации. И вот представим ситуацию, когда необходимо заменить всего один оптический патч-корд. На его маршруте придется перерезать каждый жгут, распустить всю «косу», демонтировать нужный кабель, проложить новый и снова все затянуть. Таким образом простая работенка на 5-10 минут может превратиться в часовое путешествие по причесыванию стойки. Вторая, «некрасивая», фотография, очевидно, является примером плохого кабель-менеджмента. Но, помимо плотной стены кабелей, которая мешает проходу воздуха, у нее есть еще один важный недостаток. Определить, куда что идет, становится в разы сложнее, чем если бы все было уложено «как надо». Замена линка, оборудования или простого трансивера станет сущим кошмаром при работе в такой стойке. Я всегда держу в голове мысль, что красота должна быть в меру. При работе в стойке важно, чтобы инженер мог легко обнаружить нужный кабель, быстро найти неисправность и беспрепятственно заменить оборудование в случае необходимости. Оставляет запас для масштабирования При проектировании стоит задумываться и о том, что всегда может возникнуть необходимость в установке дополнительного оборудования. Идеально, когда стойка изначально полностью комплектуется оборудованием, но на практике гораздо чаще инфраструктура развивается постепенно. Основной посыл данного пункта в том, что стойка может выглядеть идеально в момент сдачи, но уже после нескольких расширений превратиться в то, отчего мы так отчаянно пытаемся уйти. Поэтому кабель-менеджмент стоит формировать так, чтобы установка нового оборудования не разрушала уже существующую кабельную систему. Примеры плохой СКС в стойке Давайте рассмотрим и разберем еще несколько реальных примеров стоек. Важно уточнить, что свою мысль я формирую исходя из личного опыта эксплуатации, она не является аксиомой и вполне может быть оспорена. Пример ниже, возможно, даже и не требует большого обсуждения, однако давайте все-таки посмотрим, что именно тут не так. Источник. Главная проблема СКС в этой стойке — мешанина из кабелей. Здесь все в одной куче: кабели питания, оптика и медь. Все это практически плотной стеной стоит сзади оборудования, куда выдувается горячий воздух, так что о хорошей циркуляции воздуха можно забыть. Также все хаотично соединено нейлоновыми стяжками, а куда какой кабель идет — без «подергивания» понять практически невозможно. Нет никаких боковых кабельных органайзеров, никакой системы (никакого «менеджмента» кабелей, раз уж на то пошло). Так что работа в такой стойке превратилась бы в сущий ад. А теперь посмотрим на другой пример. Казалось бы — прямая противоположность предыдущей фотографии. Источник. Честно говоря, мой внутренний эстет переступает через себя, чтобы раскритиковать этот пример. Смотреть на все эти идеально расчесанные «косы» оптики — одно удовольствие. Однако, силой возвращая себя в реальность, я начинаю представлять, как бы я работал с такой «структурированной» кабельной системой. Насколько сильно я ругался бы про себя, если бы мне понадобилось заменить всего лишь один оптический патч-корд? По сути, проблемы у стойки две. Первая — это опять-таки использование нейлоновых стяжек. Вторая проблема — это отсутствие маркировки. Чтобы понять, куда какой кабель идет, нужно продернуть его от начала и до конца маршрута: в условиях плотной посадки это создает большие риски и для соседней оптики. Пример хорошей СКС в стойке Рассмотрим удачный вариант СКС. Это стойка из нашего дата-центра, в которой можно подметить практически все пункты, о которых я говорил выше. Слева мы видим аккуратно укомплектованные кабели питания, справа — медные патч-корды. У каждого кабеля имеется запас, никакого натяжения, но при этом нет излишков длины кабелей, которые могли бы создать хаос и помешать воздухопотоку. Как еще один пример удачного решения — разнообразие цветов. Каждый патч-корд идет в свой коммутатор. Визуально очень удобно и не нужно искать нужный среди сотни одинаковых серых кабелей. Вместо твердых использованы мягкие стяжки, «косы» сформированы органично, и замена одного патч-корда не создаст больших проблем. Так же, как и демонтаж одного сервера не разрушит порядок в СКС в этой стойке. Как можно испортить кабель Давайте посмотрим чуть подробнее на специфику эксплуатации конкретных видов кабелей: каких решений стоит избегать, чтобы не нарушить целостность патч-кордов — будь то медные или оптические линии. Оптика Если посмотреть на устройство оптического патч-корда, то становится вполне понятно, почему с ним нужно обращаться максимально аккуратно. Несмотря на наличие защитной оболочки, внутри кабеля находится тонкое стеклянное волокно, по которому «передвигается» свет. Здесь нюанс в том, что внешне ваша оптика может оставаться целой и невредимой, а вот внутри могли появиться повреждения или избыточный изгиб. Источник. При устройстве СКС стоек очень важно учитывать радиус изгиба: избегайте перегибов кабелей и соблюдайте плавный радиус. В противном случае стеклянное волокно может либо сломаться, и сигнал вообще не будет доходить, либо часть оптической мощности будет теряться и начнется неприятный рост затуханий. Универсальной формулы для всех кабелей нет. Главное — не сгибать оптику слишком сильно. Ниже — примеры того, как делать стоит, а как — нежелательно. Медь Медный патч-корд менее капризен, чем оптический. Как показывает практика, одним из наиболее уязвимых элементов медного патч-корда является коннектор RJ-45. Любое излишнее натяжение может привести к поломке коннектора в самое неподходящее время. А в условиях плотной посадки медной «косы» в стойке — ой как неприятно все расплетать для замены одного кабеля. И снова — стяжки. В нашем дата-центре практика использования твердых нейлоновых стяжек крайне редка. Обычно на них крепят только те элементы, которые ставятся «на века», например, силовые кабели от PDU. Во всех остальных случаях мы используем мягкие тканевые стяжки на «липучках». Нейлоновое крепление одноразовое, поэтому при необходимости замены кабеля его нужно резать, а заодно можно «почикать» прилегающие к нему патчи. Мягкая стяжка многоразовая. Она позволяет аккуратно расплести «пучок» кабелей, ничего не повредив, а после работы такую стяжку можно установить обратно. Твердой стяжкой также очень просто повредить оптику, если затянуть ее сильнее, чем нужно. Чтобы повредить оптику мягкой стяжкой, нужно прям постараться. Подводя итог этого раздела: не делайте радиус изгиба слишком крутым, не укладывайте патчи внатяг: небольшой запас — ваш друг, по возможности используйте мягкие стяжки вместо твердых. Рост инфраструктуры Выше в статье я кратко затронул тему расширения инфраструктуры. Стойка — объект не совсем статичный: сегодня там стоит один коммутатор и пять серверов, а уже завтра она под завязку забита серверами и необходимым сетевым оборудованием. Давайте обсудим, что важно учесть при проектировании стойки, чтобы был запас на будущее. Во-первых, маркировка оборудования. Фактически это не относится к СКС внутри стойки, однако, как мне кажется, об этом стоит помнить. Для 5–10 серверов еще можно помнить, какой кабель куда идет. Для 30–40 серверов это уже перестает работать. Чем больше стойка, тем важнее маркировка обоих концов кабеля и понятная схема соединений. Во-вторых, запас длины. Золотая середина, помните? Если один сервер у каждого патча будет иметь запас 1-2 метра — не критично. А если таких серверов два-три десятка? В такой момент стойка из красивой и аккуратной превращается в джунгли, где вместо лиан — медь и оптика. Так что, оставляя запас больше, чем нужно, задайте себе вопрос: если таких патчей будет еще 30, будет ли все так же хорошо? Чем больше оборудования появляется в стойке, тем важнее не собирать кабели в один монолитный жгут. Пусть оптика, медь и кабели питания идут отдельно друг от друга. Это упростит установку новых серверов и поможет сохранить порядок, да и в обслуживании разделение трасс сыграет вам на руку. Еще я бы рекомендовал не трогать старое ради нового. Хороший признак масштабируемости стойки — новый сервер можно добавить, практически не вмешиваясь в уже готовую инфраструктуру. Чек-лист перед сдачей стойки Что же у нас остается в сухом остатке? Прежде чем считать работу законченной, а стойку — готовой к эксплуатации и будущему расширению, я бы проверил, что выполняются следующие условия: ничего не перекрывает зоны забора и выхлопа воздуха; все кабели аккуратно «пристяжены» к боковым кабельным органайзерам; кабели имеют адекватный запас по длине: не натянуты как струна, при этом также нет бубликов из патч-кордов; радиус изгиба оптики — плавный и соответствует требованиям производителя; нейлоновые жгуты не перетянуты (но лучше использовать мягкие стяжки); кабели имеют понятный маршрут: их коннекторы промаркированы, а цвет оплетки жестко привязан к назначению линии по принятому в ЦОДе стандарту; практически любой кабель можно заменить без разбора половины стойки; есть возможность беспрепятственно установить новое оборудование или обслужить уже установленное; свободные юниты закрыты фальш-панелями, и через них не проходят кабели; устройство стойки понятно не только тому, кто ее собирал. Любой другой инженер сможет понять, что и куда идет. Если проходя по этому чек-листу, вы на большую часть пунктов можете ответить положительно, то поздравляю — ваш кабель-менеджмент получился не только красивым, но и удобным в эксплуатации!