Анастасия Ратникова, Автор в Академия Selectel

Архитектура классических ускорителей для обучения и инференса LLM упирается в ограничение по шинам передачи данных между GPU — это создает задержки и является узким местом по пропускной способности. Cerebras предлагают альтернативу — изготовление процессора размером во всю кремниевую пластину целиком. Их новая система CS-4 выводит концепцию Wafer-Scale Engine на следующий технологический уровень. Архитектура WSE-3 Turbo В основе системы CS-4 лежит обновленный процессор WSE-3 Turbo. В отличие от «обычных» чипов, где кремниевая пластина разрезается на сотни отдельных кристаллов, Cerebras использует цельную 300-миллиметровую пластину. Внутреннее устройство системы Cerebras. Источник. Из основного по WSE-3 Turbo: 4 триллиона транзисторов на одном кристалле; 900 000 ядер, оптимизированных под тензорные операции и работы с разреженными матрицами; площадь процессора — 46 225 мм²; 5-нм техпроцесс TSMC. Для решения проблемы брака при производстве кристаллов столь большой площади Cerebras применяет избыточное резервирование. При обнаружении дефектных участков на этапе заводского тестирования программно-аппаратный слой изолирует поврежденные элементы и перенаправляет топологию связей на резервные ядра без потери целостности структуры. Технические характеристики Cerebras WSE-3 Turbo. Источник. Причина задержек при инференсе LLM — необходимость постоянно перекачивать веса моделей из внешней HBM в вычислительные блоки через относительно узкие межчиповые шины. В WSE-3 Turbo вся рабочая память размещена непосредственно на кремниевой пластине. Объем SRAM составляет 44 ГБ. За счет интеграции локальных блоков памяти прямо к каждому из 900 000 ядер суммарная агрегированная пропускная способность массива SRAM на чипе достигает 43,2 ПБ/с. В отличие от сборок на базе GPU с HBM3e, архитектура Cerebras исключает задержки на внешнюю передачу промежуточных тензоров через шины PCIe или NVLink, обеспечивая постоянную загрузку вычислительных конвейеров на уровне кристалла. Производительность CS-4 Характеристики Cerebras CS-4. Источник. Cerebras CS-4 выполнен в формате стойки на базе платформы Nexus Platform Architecture. Внутри одного шкафа размещены три процессора WSE-3 Turbo. В задачах генерации текста и последовательного вывода токенов важны показатели задержки на один токен. Архитектура CS-4 спроектирована как ускоритель фазы декодирования. Она ориентирована на обеспечение низкого времени отклика — вплоть до 4400 токенов в секунду на пользователя на тяжелых моделях (например, GPT-OSS-120B). Это позволяет удерживать интерактивную скорость вывода даже при резком росте числа одновременных сессий — а это важно для работы автономных ИИ-агентов. График сравнения производительности. Источник. По заявлениям разработчиков, в сценариях высокой нагрузки CS-4 способна сформировать объем токенов за одну секунду, тогда как эквивалентному кластеру (полной серверной стойке на базе традиционных GPU) для аналогичного объема вычислений требуется около 30 секунд. Сеть и масштабирование Cerebras Nexus Rack-Scale Platform. Источник. Для объединения трех крупных пластин в рамках единой стойки CS-4 использует технологию Direct Wafer Links. Это снижает задержку передачи данных между процессорами WSE-3 Turbo внутри системы всего до 2 мкс. Для внешнего горизонтального масштабирования стойка оснащена сетевой обвязкой с суммарной пропускной способностью 7,2 Тбит/с на базе протоколов Ethernet и RoCE v2. Это позволяет объединять несколько шкафов CS-4 в единый вычислительный кластер под управлением фирменного программного стека Cerebras Software Platform. Итоги Процессор Cerebras WSE-3 Turbo. Источник. Cerebras CS-4 демонстрирует, что подход Wafer-Scale переходит из категории экспериментальных инженерных решений в сегмент промышленной эксплуатации. Основной эффект от внедрения подобных систем заключается не только в чистой пиковой производительности, но и в снижении задержек на передачу данных внутри процессора. Cerebras поставляет проприетарное решение — от самого кремния до инженерной обвязки. Учитывая плотность вычислительных ядер, компании приходится самостоятельно проектировать кастомные контуры жидкостного охлаждения и блоки питания под свою архитектуру. Сегодня, когда энергопотребление ИИ-кластеров растет огромными темпами, именно грамотный теплоотвод и подвод питания становятся для производителей чипов такими же важными задачами, как и наращивание количества транзисторов.