LLM-платформа Compressa на инфраструктуре Selectel

Арендуйте готовую LLM-инфраструктуру, чтобы использовать и дообучать модели эффективнее. Ускоряйте цикл разработки и сокращайте издержки на генерацию токенов при помощи платформы, которую можно развернуть на выделенных серверах или в облаке Selectel.
  • Готовые API и UI
  • Ускоренная генерация ответов
  • Сниженные расходы на токены
  • Готовый RAG по запросу

Какие задачи решает Compressa LLM

Ускорение генерации ответов модели

Платформа позволяет снизить задержку до первого ответа в 2–5 раз и ускорить генерацию отдельного запроса в 3–10 раз.

Снижение расходов на GPU

За счет повышения общей пропускной способности видеокарты в 20–70 раз, вам потребуется меньше видеопамяти для обработки всего потока данных.

Эффективное дообучение LLM

При помощи LoRA-адаптеров модель можно быстрее и дешевле дообучить прямо в интерфейсе Compressa LLM.

Сравнение Compressa LLM с Open Source-моделями

На какой инфраструктуре можно развернуть платформу

Выделенные серверы с GPU
Разверните Compressa LLM на мощных серверах с видеокартами NVIDIA A100, RTX A5000, A4000, A2000. Доступны как фиксированные, так и произвольные конфигурации.
Облачные серверы с GPU
Разверните Compressa LLM на виртуальных машинах облачной платформы. Благодаря широкому выбору карт в наличии, вы сможете подобрать решение под требуемую нагрузку.

Почему Compressa LLM стоит разместить на инфраструктуре Selectel

Используем мощное железо

Мы можем разместить платформу на серверах с процессорами Intel® Xeon® Gold или AMD EPYC™.

Предоставляем в аренду новейшие GPU

Предлагаем серверы с GPU разных моделей, включая NVIDIA А2, А30, RTX 6000 Ada и другие. Они помогут использовать и дообучать LLM быстрее. Для ресурсоемких задач доступны конфигурации с A100 и NVlink.

Помогаем быстро масштабироваться

В нашей панели управления можно быстро подключить дополнительные ресурсы. Готовые выделенные серверы запускаются от 2 минут, облачные — еще быстрее.

Можем разместить проект на сервере, аттестованном ФСТЭК

Если вам важно соблюсти требования российского и международного законодательства в отношении чувствительных данных, то мы можем разместить сервер в А-ЦОД. Такой сервер аттестован ФСТЭК и помогает сохранить полный контроль над безопасностью данных.

Строим гибридную инфраструктуру

Для работы платформы мы предлагаем в аренду выделенные, облачные серверы и Managed Kubernetes с GPU. Также у нас можно арендовать продукты для связи вашей on-premise инфраструктуры с серверами в наших ДЦ.

Сколько стоит LLM-платформа Compressa на инфраструктуре Selectel

Стоимость зависит от ваших задач — в нее входит оплата за лицензию Compressa LLM и за аренду выделенных или облачных серверов Selectel. Также доступна опция профессионально настроенного RAG. Оставьте заявку и мы подберем подходящую конфигурацию сервера и рассчитаем стоимость.

Из каких компонентов состоит платформа

UI и API-интерфейс к LLM

Подбирайте оптимальные настройки и промпты в Playground, интегрируйте LLM в другие сервисы с помощью API-документации, совместимой с OpenAI.

UI, API и дашборд для дообучения

Запускайте эксперименты по дообучению LLM с помощью UI-окна или API, отслеживайте прогресс и результаты в специальном дашборде.

Готовый RAG для работы с документами

Используйте LLM для точных ответов по вашим документам с помощью профессионально настроенного RAG-пайплайна.

В чем особенности Compressa LLM

Актуальные LLM

LLM-платформа Compressa поддерживает эффективный запуск и дообучение LLaMA, Mistral, Saiga, Qwen и других моделей с Hugging Face. Все новые модели будут доступны вам сразу после релиза.

Профессиональная оптимизация

Команда Compressa LLM постоянно следит за ведущими Open Source-фреймворками инференса, тестирует их и выбирает лучшие для платформы. В компании также проводили научные исследования в квантизации и разработали свои кастомные пайплайны.

Поддержка от экспертов

В Сompressa обладают большим опытом во внедрении и оптимизации ML-моделей. Компания больше 7 лет развивает ИИ, а в ее портфолио 120+ проектов.

Как арендовать платформу

1

Оставьте заявку

Наш менеджер свяжется с вами в течение рабочего дня.

2

Обсудим детали

Вместе со специалистами Compressa LLM поможем выбрать подходящую под проект инфраструктуру и рассчитаем ее стоимость.

3

Запустим платформу

В течение 2 дней развернем LLM-платформу Compressa на наших выделенных или облачных серверах, в зависимости от ваших потребностей.

4

Будем на связи 24/7

Специалисты нашей технической поддержки ответят на вопросы, связанные с работой инфраструктуры. Среднее время ответа — 15 минут. А с Compressa.ai можно подписать договор на доработку, обслуживание и поддержку.

Арендуйте платформу Compressa LLM на инфраструктуре Selectel

Оставьте заявку, мы свяжемся с вами в течение рабочего дня и поможем подключить услугу.

Вы всегда можете получить бесплатную консультацию по телефону 8 800 555 06 75, почте sales@selectel.ru или в  Telegram.