Алла Афанасенко, Автор в Академия Selectel

Привет! Я — Аля, старший продакт-менеджер выделенных серверов в Selectel. За последние полтора года в мире сетей для ИИ произошла серия событий, которые по отдельности выглядят как обычные корпоративные новости, но вместе они складываются в любопытную картину. Broadcom с октября 2025 года серийно отгружает коммутатор Tomahawk 6 «Davisson» с оптикой, встроенной прямо в корпус чипа, а его предшественник разошелся десятками тысяч штук. NVIDIA анонсировала собственные коммутаторы с той же технологией и уже запустила их в производство. Marvell в феврале 2026 года купила стартап Celestial AI, сумма сделки — около $3,3 млрд. Стартап Ayar Labs в марте 2026 года привлек $500 млн при оценке $3,75 млрд, и среди его инвесторов одновременно NVIDIA и AMD. А Lightmatter инвесторы оценили в $4,4 млрд еще до первого массового продукта. Все эти ставки сделаны на одну и ту же технологию — совместно упакованную оптику, CPO (co-packaged optics), то есть оптику, собранную в одном корпусе с чипом. Да, но оптика в дата-центрах — вообще-то не новость. Оптоволокно носит трафик между городами уже полвека, а между серверными стойками пару десятилетий. Что такого могли придумать в этой области, чтобы настолько разные компании синхронно понесли туда свои миллиарды? Где начинается свет Чтобы понять, что именно все они покупают, посмотрим, как данные сегодня выходят из чипа в сеть. Данные рождаются в чипе в виде электрических сигналов, и, чтобы уйти в сеть, они проходят 15–30 см по медным дорожкам платы до разъема на ее краю. В разъем воткнут съемный оптический модуль — трансивер. Только внутри него, в паре сантиметров от выхода в оптоволокно, электрический сигнал наконец преобразуется в свет. Дальше данные уже в виде света бегут по волокну туда, куда им нужно. Проблема прячется в этих сантиметрах меди. На современных скоростях сигнал успевает заметно деградировать еще по пути к трансиверу, поэтому внутри каждого трансивера стоит отдельный чип цифровой обработки сигнала, DSP (Digital Signal Processing), который восстанавливает искаженные данные. Работа эта тяжелая, и на DSP приходится около половины энергопотребления всего модуля. Совместно упакованная оптика, CPO, убирает этот участок целиком — оптический блок ставится внутрь корпуса, рядом с самим кристаллом коммутатора, и электрический путь сжимается с десятков сантиметров до миллиметров. На миллиметрах сигнал не успевает деградировать, значит, и восстанавливать нечего, DSP не нужен, передатчик становится проще и холоднее. Сверху — старая схема: сигнал идет от кристалла коммутатора через плату и разъем к съемному трансиверу и теряет по дороге до 22 дБ. Снизу — CPO: оптический блок стоит рядом с кристаллом, потери падают примерно до 4 дБ. Источник. Что же произошло: данные между стойками как бегали по оптоволокну, так и бегают, но изменилось место, где электрический сигнал преобразуется в свет. Раньше преобразование было в съемном модуле на краю платы, теперь в корпусе чипа. Вот это движение света вплотную к кристаллу и называют фотонным интерконнектом, а CPO — его первая серийная ступень. Так это выглядит в железе: кристалл коммутатора в центре, а по периметру корпуса оптические движки, те самые, что раньше жили в съемных модулях на краю платы. Источник. Снаружи вся эта революция незаметна: CPO-коммутатор остается обычным Ethernet- или InfiniBand-коммутатором, протоколы, топология сети и код обучения не меняются, только физический слой другой. Неужели двадцать сантиметров меди стали такой проблемой, что ради них Broadcom и NVIDIA перекраивают флагманские продукты? Давайте разбираться дальше и начнем с самого очевидного подозреваемого такого перехода — энергии. Первый подозреваемый: энергия В каждом пресс-релизе про совместно упакованную оптику вы встретите слово «энергоэффективность», и цифры там действительно красивые. Съемный трансивер на 800 Гбит/с потребляет до 30 Вт, и таких модулей в большом кластере сотни тысяч. Broadcom и NVIDIA заявляют, что встроенная оптика снижает энергопотребление оптической части примерно на 70%, а также Meta* на CPO-коммутаторе Broadcom намерила 5,4 Вт на порт 800 Гбит/с против примерно 15 Вт у съемного трансивера, то есть экономия получилась около 65%. Куда уходят ватты: DSP, восстановитель сигнала, съедает около половины модуля. У CPO восстанавливать нечего, и 30 Вт на интерфейс превращаются в 9. Источник. А теперь поднимемся с уровня одного порта на уровень кластера, и картина заметно поблекнет. Дело в том, что сеть занимает лишь несколько процентов энергобюджета ИИ-кластера. По данным Meta*, это 6% на кластерах с H100 и 8% на GB200, остальное съедают сами ускорители и охлаждение. Можно сколько угодно оптимизировать эти проценты, кардинально картину они не изменят. Аналитики SemiAnalysis посчитали: даже когда энергопотребление сетевой части падает в разы, полный переход на CPO экономит всего до 4% энергии кластера. Для объекта на сотни мегаватт это единицы мегаватт. Деньги заметные, но точно не те, ради которых меняют отработанную технологию на сырую, особенно, когда съемный трансивер можно заменить за минуту прямо в стойке, а оптика CPO впаяна в коммутатор, и ее отказ решается заменой всего устройства. SemiAnalysis прямо пишет, что сама по себе экономия энергии недостаточно убедительна, чтобы заказчики бросились внедрять CPO. Получается, энергия — это витрина перехода, но не его причина. Настоящая причина № 1 — у меди кончается дорога Чтобы понять эту причину, нужно спуститься на уровень физики и посмотреть, как устроена сеть в ИИ-кластере. Она собрана слоями, под разные дистанции. Внутри стойки (вертикальное масштабирование, scale-up) ускорители соединены напрямую сверхбыстрой шиной, у NVIDIA она называется NVLink, и здесь правит медь. Пассивный медный кабель не потребляет энергии и не добавляет задержек на преобразование сигнала, и на дистанции в метр-два ему пока нет равных. Как это выглядит на реальном железе? Среди конфигураций выделенных серверов есть HGX H200 с восемью ускорителями и суммарными 1,1 ТБ видеопамяти, а также HGX B300 — тоже с восемью GPU, но уже с 2,3 ТБ памяти. Внутри такого сервера ускорители связаны NVLink и могут работать как единый вычислительный узел. Это и есть scale-up — наращивание мощности внутри одной машины. Между стойками (scale-out) работает сеть уровня дата-центра — это InfiniBand или быстрый Ethernet, и здесь носитель зависит от длины кабеля. До двух-трех метров хватает меди, дальше начинается оптоволокно с теми самыми съемными трансиверами из прошлой главы. Схема отработана годами. Проблема в том, что у нее заканчивается запас прочности, причем сразу по двум направлениям. Полоса удваивается каждое поколение, а медь от этого укорачивается. Посмотрите на динамику: шина NVLink давала 900 ГБ/с на чип у H100, 1,8 ТБ/с у Blackwell и 3,6 ТБ/с в анонсированной платформе Rubin. Между стойками то же самое: кластеры поколения H100 строили на соединениях 400 Гбит/с, новые строят уже на 800 Гбит/с, а следующее поколение сетевого оборудования рассчитано на 1,6 Тбит/с. А у меди с каждым удвоением скорости падает дальность. На 400 Гбит/с пассивный кабель уверенно работал до 3–5 метров, на 800 Гбит/с уже до 2–3 метров, а на 1,6 Тбит/с останется около метра. SemiAnalysis оценивает предел меди для будущих скоростей максимум в два метра. Предел меди схлопывается быстрее, чем растут кластеры. Бутылочное горлышко береговой линии (shoreline bottleneck) Представьте чип ускорителя как офисное здание, из которого все выходят только через двери по периметру. Сколько бы людей ни работало внутри, пропускная способность здания ограничена периметром здания. С чипом то же самое: сигналы уходят по краю, а увеличить чип не помогает, потому что площадь растет как квадрат, а периметр только линейно. Часть краев еще и занята памятью, поэтому под сетевые сигналы места остается еще меньше. Этот дефицит уже виден в железе – у ускорителя B200 память отдает в вычислительное ядро 8 ТБ/с, а наружу через NVLink чип выводит только 1,8 ТБ/с, и с каждым поколением разрыв растет. Упрощенная схема бутылочного горлышка береговой линии. CPO отвечает на оба ограничения сразу: дальность — медь остается только на миллиметрах внутри корпуса, где у нее нет никаких проблем, а весь длинный путь сигнал проходит светом; периметр — эту проблему CPO изящно решает с помощью спектрального уплотнения. По одному волокну можно пустить несколько каналов на разных длинах волн, поэтому один и тот же миллиметр края чипа несет больше данных, чем электрический вывод. По оценке SemiAnalysis, следующее поколение оптических блоков, встроенных еще ближе к кристаллу, сможет выводить примерно 4 Тбит/с на миллиметр края, тогда как у Blackwell с электрическим выводом это примерно всего 0,4 Тбит/с на мм. А у меди просто нет следующего поколения, и пока CPO это единственный известный способ продолжать удваивать полосу каждое поколение. Настоящая причина № 2 — цена обрыва связи Физика меди это больше мотив стратегический, из разряда «через два-три поколения», а вот вторая причина бьет по деньгам уже сегодня — надежность. Современные модели обучаются неделями на десятках тысяч ускорителей, и все это время кластер работает как единый организм. На каждом шаге обучения чипы синхронизируются и обмениваются градиентами и весами. Насколько эффективно это происходит, показывает метрика MFU (model FLOPs utilization), то есть доля пиковой вычислительной мощности, которая реально уходит на полезные вычисления модели. Даже Meta* при обучении Llama 3 на 16384 ускорителях H100 удержала MFU лишь около 41%. В контролируемых экспериментах эффект еще нагляднее: если фиксированную задачу дробить на все больше узлов, загрузка падает с 40% до менее чем 15%, обучение упирается в коммуникацию. Теперь посмотрим, сколько это стоит. Обучение GPT-4 оценивали примерно в $78 млн только по вычислениям. Два года спустя обучение Grok 4 обошлось, по оценке Epoch AI, уже примерно в $490 млн, а к 2027 году крупнейшие прогоны, по прогнозу той же группы, перевалят за миллиард долларов. И теперь в эту картину добавим сбой связи. При синхронном обучении обрыв одного соединения не локальная неприятность: шаг обучения не может завершиться, без данных разом сидят тысячи ускорителей, а при жестком сбое задача перезапускается с последней контрольной точки. Meta* в статье про Llama 3 рассказывает, что из-за синхронной природы обучения отказ даже одного компонента может потребовать рестарта всей задачи, и за 54 дня обучения у нее набралось 419 незапланированных остановок, в среднем одна каждые три часа. Каждый сбой умножается на стоимость всего кластера, простаивающего в ожидании. Именно здесь у CPO обнаружился козырь, который изначально даже не был главной целью разработки. Съемный трансивер устроен как разъем плюс отдельный горячий чип-восстановитель сигнала (DSP), а это лишние точки отказа. Контакты загрязняются, модули перегреваются, прошивки глючат. Убрав разъем и лишний чип, CPO убирает и их отказы. Meta* намерила на боевых коммутаторах: наработка на отказ у CPO-портов составила 2,6 млн часов против 0,5–1 млн у съемных трансиверов. Связь рвется в три-пять раз реже. NVIDIA для своих CPO-коммутаторов и вовсе обещает десятикратный выигрыш в стабильности соединений. Кто отгружает, а кто обещает Теперь можно собрать все причины инвестиций в совместно упакованную оптику вместе: энергия — скорее приятный бонус и красивая витрина, физика меди — стратегическая неизбежность, надежность — деньги здесь и сейчас. В таком виде миллиардные ставки на технологию выглядят более понятно. Теперь немного подробнее про игроков этого рынка. Broadcom ушла дальше всех. Ее CPO-коммутаторы поставляются крупнейшим облачным компаниям с 2023 года, за 2025-й Tomahawk 5 «Bailly» разошелся десятками тысяч штук, среди пользователей называют Meta* и Tencent. С октября 2025 года серийно отгружается Tomahawk 6 «Davisson» на 102,4 Тбит/с. Это уже третье поколение технологии с отлаженным производством. NVIDIA идет следом, но с весом, который меняет рынок. Коммутаторы Quantum-X Photonics для InfiniBand вышли в начале 2026 года, а Spectrum-X Photonics для Ethernet уже в производстве. Когда встроенную оптику ставит в продукты компания, продающая почти все ускорители мира, технология перестает быть экзотикой и становится отраслевым стандартом. Marvell, практически тезки Marvel, купили собственного целестиала, а точнее, компанию Celestial AI за $3,3 млрд. Технология Celestial называется Photonic Fabric и нацелена на связь между самими чипами, то есть на тот самый уровень внутри стойки, где сегодня еще правит медь. Ayar Labs делает оптические чиплеты ввода-вывода. Это маленькие оптические чипы, которые производитель ускорителя может поставить в корпус рядом со своим кристаллом. В марте 2026 года компания закрыла раунд на $500 млн и заявила, что деньги пойдут на масштабирование серийного производства. Показательно, что среди стратегических инвесторов конкурирующие между собой NVIDIA и AMD. Похоже, обе хотят иметь доступ к технологии, кто бы ни победил. Lightmatter стоит особняком, у них самый радикальный подход. Главный продукт компании Passage M1000 — это интерпозер, оптическая «подложка», на которую сверху ставятся вычислительные чипы. Свет выводится из любой точки площади чипа, а не только с его края. Помните про бутылочное горлышко береговой линии? Lightmatter предлагает проблему не обходить, а отменить: если фасада не хватает, выходы можно делать прямо через пол. Заявленные характеристики впечатляют: 114 Тбит/с суммарной полосы на интерпозер и энергоэффективность 4,6 пДЖ/бит. Чтобы был масштаб, вспомним цифру из пункта про медь: ускоритель Blackwell выводит наружу через NVLink 1,8 ТБ/с, то есть около 14 Тбит/с, одна пластина M1000 со своими 114 Тбит/с могла бы унести трафик восьми таких чипов разом. А 4,6 пДж/бит означают около 3,7 Вт на порт 800 Гбит/с, тогда как серийный CPO в замерах Meta* тратит 5,4 Вт, а съемный трансивер около 15. Оценка компании в $4,4 млрд опирается именно на эти результаты, но пока это лабораторные демонстрации и доклады на инженерных конференциях, публичных клиентских внедрений с независимыми цифрами у Lightmatter нет. Все серийные внедрения CPO сегодня живут в сети между стойками, в scale-out, а внутри стойки, где ходят самые толстые потоки данных, по-прежнему медь. Именно туда целятся Celestial AI, Ayar Labs и Lightmatter, и именно там развернется следующая битва. По логике главы про медь, она неизбежна, вопрос только в том, в каком поколении ускорителей это случится и кто успеет к раздаче. А можно ли светом считать Все, о чем мы говорили до сих пор, — это передача данных светом и сами вычисления остаются электрическими, но есть команды, которые замахиваются на большее и хотят светом считать. Самый серьезный результат здесь у уже упомянутых ранее Lightmatter. В апреле 2025 года в Nature вышла статья, где фотонный процессор от Lightmatter запустил три классические нейросети из трех разных областей: ResNet — для распознавания изображений. Она годами служит эталонным тестом компьютерного зрения; BERT — для работы с текстом. Это прямой предок современных больших языковых моделей; DQN — алгоритм от DeepMind, когда-то обыгравший человека в игры Atari, став символом обучения с подкреплением. Набор собран не случайно, так как чип, который тянет все три, умеет исполнять нейросети в принципе, а не одну удобную для демонстрации задачу. Точность оказалась близка к обычным цифровым ускорителям, причем модели запустили как есть, без дообучения и подгонки под железо. До этого фотонные чипы справлялись в основном с учебными задачами вроде распознавания рукописных цифр. Сам процессор уже вполне серьезная машина: шесть кристаллов в одном корпусе, 50 млрд транзисторов, миллион оптических компонентов и 65,5 трлн операций в секунду. Если все так круто, то почему это все еще эксперимент, а не продукт? У света нет удобной памяти, поэтому промежуточные результаты приходится постоянно преобразовывать обратно в электричество, и на этом теряется часть выигрыша. Вычисления светом аналоговые: значения кодируются не нулями и единицами, а непрерывной яркостью луча, поэтому шум, нагрев и дрейф компонентов понемногу искажают результат, и удерживать точность в длинных вычислениях тяжело. Почему за этим все равно стоит следить? Умножение матриц, основная операция нейросетей, происходит в таком чипе физически. Представьте луч, проходящий через тонированное стекло: яркость на выходе равна яркости на входе, умноженной на прозрачность стекла. Вот и готовое умножение двух чисел — одно закодировано в яркости луча, второе выставлено «тонировкой» крошечного модулятора. А если несколько лучей направить на один фотоприемник, его ток окажется суммой их яркостей, это сложение. Из таких элементов собрана оптическая сетка, и пока свет пролетает сквозь нее, вектор данных успевает перемножиться с целой матрицей весов, без единого переключения транзистора. Энергии на это уходит всего ничего, в эксперименте Lightmatter сама оптика потребляла 1,6 Вт, а электрическая обвязка вокруг нее, то есть преобразователи между светом и электричеством, память и управление, съедала еще 78 Вт. Если инженеры научатся сокращать эту обвязку, для отдельных классов задач выигрыш будет уже не в проценты, а в разы. Передача данных светом и вычисления светом находятся на разных стадиях зрелости. И если фотонный интерконнект уже ворвался в индустрию с серийными продуктами и миллиардными сделками, то фотонные вычисления пока лишь доказали свою принципиальную возможность, но путь от публикации в Nature до серийного железа обычно занимает годы. Так что направление стоит держать в поле зрения, но деньги в фотонике ближайших лет будут делаться на передаче данных. Итоги: за чем и за кем следить Итак, индустрия переносит оптику в корпус чипа. Основных причин и выгод аж две (с половинкой): медь упирается в физический предел. Ведь полоса удваивается каждое поколение, а медный кабель при этом укорачивается до длины, на которой кластер уже не собрать; надежность. CPO рвет связь в три-пять раз реже, а при многонедельном обучении на десятках тысяч ускорителей это предотвращает регулярные сбои в расчете моделей; хоть экономия энергии в масштабе кластера дает не больше 4%, но все-таки это тоже приятный бонус. За кем и за чем наблюдать в ближайшие пару лет NVIDIA и масштаб развертываний. Коммутаторы Quantum-X и Spectrum-X Photonics уже в производстве, вопрос в том, появятся ли они в реальных кластерах в заявленных объемах. Анонсы удобно отслеживать на странице кремниевой фотоники NVIDIA, а разборы каждой новинки без маркетинга выходят у The Next Platform. Оптика внутри стойки. Настоящий перелом случится, когда оптический ввод-вывод доберется до самих ускорителей, на уровень scale-up. Именно сюда целятся Ayar Labs, Lightmatter и Marvell с Celestial AI. Сигнал, которого стоит ждать: анонс серийного ускорителя с оптическим выводом вместо медного. Независимые цифры из боевых кластеров. Надежность и энергопотребление из эксплуатации, а не из презентаций. Подробные разборы экономики кластеров с цифрами делает SemiAnalysis, инженерные отчеты о своих кластерах публикует Meta*. А свежее железо вендоры показывают на конференциях OFC и Hot Chips, где основная аудитория — это инженеры, а не инвесторы. И еще несколько источников, помимо уже упомянутых в статье. Рынок оптических модулей и CPO в цифрах отслеживают аналитики LightCounting и Yole Group. За новостями интегральной фотоники удобно ходить в PIC Magazine, а за азиатскими цепочками поставок, где физически собирается почти вся эта оптика, следят TrendForce и DigiTimes. Подробные обзоры сетевого железа с тестами делает ServeTheHome, новости суперкомпьютеров и ИИ-инфраструктуры собирает HPCwire, а IEEE Spectrum дает инженерный взгляд на фотонику. Первые проверки фотоника уже проходит: CPO-порты в кластерах Meta* отработали миллионы часов, а серийные отгрузки растут. Впереди главный рубеж — перенос оптики внутрь стойки и к самим ускорителям, где станет ясно, способна ли она окончательно потеснить медь. Смена физического слоя связи случается нечасто, но сейчас происходит именно это, поэтому стоит следить за новостями. Здесь собраны ссылки на все технологии и факты, которые я упоминаю в статье. коммутатор Tomahawk 6 «Davisson»; анонс коммутаторов NVIDIA; запуск в производство коммутаторов NVIDIA; покупка стартапа Celestial AI по цене около 3,3 млрд $; успех стартапа Ayar Labs; инвесторы Lightmatter оценили в $4,4 млрд; технология CPO; энергопотребление съемного трансивера на 800 Гбит/с; заявления Broadcom и NVIDIA об энергопотреблении встроенной оптики; оценка Meta* доли сети в энергобюджете ИИ-кластера; презентация технологий NVIDIA NVLink и коммутаторов NVLink Switch; замеры зависимости дальности передачи сигнала от скорости в медных каналах; замеры скорости, с которой память B200 отдает данные в вычислительное ядро и наружу через NVLink; показатели MFU при обучении Llama 3; эксперименты Meta* при обучении моделей; оценка стоимости обучения GPT-4; оценка стоимости обучения Grok 4; прогноз стоимости обучения будущих моделей; обещание NVIDIA 10-кратного выигрыша в стабильности соединений для своих CPO-коммутаторов; успех Tomahawk 5 «Bailly»; архивная новость про коммутаторы NVIDIA; новость о запуске производства Spectrum-X Photonics для Ethernet; пресс-релиз о Photonic Phabric; новость о финансовом успехе Ayar Labs; характеристики Lightmatter; еще раз характеристики Lightmatter; результаты эксперимента Lightmatter; страница кремниевой фотоники NVIDIA; разборы новинок NVIDIA; инженерные отчеты о кластерах Meta*.