Базы данных для высоконагруженных систем

Облачные базы данных (cloud database) — это полностью управляемые СУБД, созданные и развернутые в облаке. По сути это Database-as-a-Service (DBaaS): базы данных предоставляются как готовый к работе сервис (Managed Service).

Облачные базы данных, или Managed Database — это сервис облачной платформы Selectel. Инструмент позволяет быстро разворачивать кластеры БД в облаке — один или несколько серверов, между которыми настроена репликация и аварийное переключение (failover). Также сервис поддерживает автоматические резервное копирование с восстановлением до конкретного момента времени (Point-in-Time recovery).

• Запросы с высокоуровневыми математическими операциями, использованием сложных выражений или вложенных запросов и функций;
• операции сортировки и слияния больших наборов данных;
• операции группировки на больших объемах данных;
• операции MERGE (функциональность доступна в PostgreSQL с версии 15) на действительно больших таблицах;
• вызов пользовательских функций, особенно если они содержат сложные вычисления;
• поиск с использованием оператора LIKE с шаблонами, которые не поддерживают индексацию;
• выполнение сложных операций агрегации или фильтрации данных.

• On-premise базы данных разворачиваются на собственных или вычислительных ресурсах, взятых в аренду. Вы сами управляете инфраструктурой: подбираете и покупаете оборудование, проводите установку ОС и баз данных, их тестирование, следите за безопасностью, занимаетесь настройками и обновлениями.
• Облачные базы данных — это полностью управляемые СУБД, расположенные в облаке. Провайдер берет на себя все заботы об администрировании: занимается обслуживанием серверов, настраивает ОС и базы данных, обеспечивает отказоустойчивость, резервное копирование и масштабирование, следит за параметрами работы.

При выборе on-premise баз данных вы получаете больше контроля — все данные находятся на ваших серверах. Но стоимость таких решений выше, а еще на их развертывание потребуется много времени и сил. Также все данные хранятся на одном хосте: это высокий риск потерять их в случае инцидента.

Облачные базы данных не требуют большого количества ресурсов, и это важное преимущество: не нужно покупать оборудование и непрерывно следить за его работой, нанимать администраторов и платить им зарплаты. Кроме того, cloud-среда помогает балансировать нагрузку и обеспечивает более надежное хранение данных.

Что входит в кластер облачной базы данных

• серверы базы данных;
• мастер — виртуальная машина, которая выступает в роли главной в кластере баз данных: через нее происходят чтение, запись и обновление данных;
• реплики (в случае, если кластер отказоустойчивый) — точные копии мастера, с которых производится чтение.

В случае, если мастер становится недоступным, реплика берет на себя его роль. Вышедший из строя мастер пересоздается в роли реплики (failover).

При выборе конфигурации виртуальной машины для кластера БД следует ориентироваться на конфигурацию сервера, на которой база данных работала до этого. Чтобы сэкономить, при создании кластера вы можете выбрать меньшее количество vCPU и RAM, а при недостатке производительности — масштабировать кластер уже во время работы. Если у вас новая база данных, советуем размещение на виртуальной машине с минимальной конфигурацией и масштабировать ее в большую сторону при превышении нагрузки.

Рекомендуем выбирать объем диска с запасом, чтобы не масштабировать кластер слишком часто — особенно, если у вас неотказоустойчивый кластер базы данных.

При создании кластера БД клиент выбирает конфигурацию виртуальных машин кластера (vCPU, RAM, NVMe SSD) и количество реплик в нем. Каждый час тарифицируются использованные ресурсы виртуальных машин кластера.

Как происходит расчет? Например, пользователь выбрал кластер, который состоит из одного мастера и двух реплик — всего получается три виртуальных машины.

Конфигурация виртуальных машин: 2 vCPU, 8 ГБ RAM, 150 ГБ NVMe SSD. Рассчитаем стоимость кластера в час: (2*0,897+8*0,326+150*0,015)*3 = 19,956 ₽/час или 14 676,32 ₽/мес. Дополнительно оплачивается хранение резервных копий.

Зависимость размера базы данных и размера резервной копии нелинейна. Например, для базы данных 150 ГБ размер хранимого бэкапа может занимать 5 ГБ, а может 3 ГБ. Размер зависит от интенсивности записи и структуры БД, а сами резервные копии шифруются и сжимаются. В среднем, стоимость такого бэкапа не превышает 50 ₽/мес.

Конфигурации СУБД, которые поддерживает сервис:

— PostgreSQL 12, 13, 14, 15, 16;
— PostgreSQL 12, 13, 14 для работы с 1С;
— TimescaleDB 12, 13, 14, 15, 16;
— MySQL sync 8.0 и MySQL semi-sync 8.0;
— Redis 6;
— Kafka 3.5;
— OpenSearch 2.18.

Мы обеспечиваем доступность ресурсов, создаем виртуальные машины, устанавливаем и настраиваем ОС и СУБД. После того, как клиент создает СУБД, базы данных и пользователей, отвечаем за автоматическое создание и хранение резервных копий, горизонтальное и вертикальное масштабирование (в случае запуска пользователем). Когда пользователь создает отказоустойчивый кластер, мы обеспечиваем отказоустойчивость и аварийное переключение при сбое.

Когда вы арендуете базы данных в облаке, отвечаем за нашу часть работ по SLA: наши обязанности строго регламентированы в соглашении об уровне услуг.

В рамках сервиса DBaaS пользователь следит за корректным подключением к БД, схемой и структурой данных в БД, выполняемыми запросами к базе данных.

Да, вы можете поменять настройки готового кластера.

Что можно изменить

• имя кластера;
• количество реплик в кластере —уменьшить или увеличить;
• конфигурацию серверов кластера: уменьшить или увеличить количество vCPU и RAM, увеличить количество SSD;
• настройки СУБД (например, MySQL, PostgreSQL или Redis) — изначально они устанавливаются по умолчанию и зависят от выбранной конфигурации сервера.

Что не получится изменить

• подсеть, в которую подключен кластер.

Сервис обеспечивает автоматическое резервное копирование кластеров баз данных.

• Раз в неделю создается полная резервная копия кластера.
• Раз в день создается инкрементальная (дельта) резервная копия кластера — она содержит все изменения, которые произошли с создания прошлой резервной копии.
• Каждые 10 минут или по накоплению определенного объема изменений для PostgreSQL создаются WAL-файлы, для MySQL — binlog-файлы. С помощью WAL-файлов производится восстановление до конкретного момента времени (Point-in-Time Recovery).

Резервные копии хранятся семь дней и после этого времени удаляются. Резервные копии удаленных кластеров хранятся семь дней с момента создания. После удаления кластер можно восстановить из его резервных копий.

Более подробная информация о резервном копировании кластеров — в документации, в статьях о PostgreSQL, сервисе MySQL и Redis.

Сервис поддерживает вертикальное и горизонтальное масштабирование баз данных.

Вертикальное масштабирование — изменение конфигураций виртуальных машин кластера. Если ваш кластер отказоустойчивый, масштабирование произойдет без даунтайма. Например, вы можете увеличить или уменьшить количество vCPU и RAM, а ресурсы объема NVMe SSD можно только увеличивать.

Горизонтальное масштабирование — изменение количества реплик в кластере СУБД в большую или меньшую сторону без даунтайма. Узнайте подробнее о масштабировании кластеров PostgreSQL,  MySQL и Redis.

Чтобы кластер базы данных стал отказоустойчивым и работало аварийное переключение на резервную базу данных, необходимо добавить к кластеру реплики. Если мастер нода выйдет из строя, ее роль возьмет на себя реплика — не будет сбоев в работе приложения. Вышедший из строя мастер пересоздастся и вернется в кластер уже в виде реплики.

Подключиться к базе данных можно двумя способами: по IP-адресу к конкретной ноде или по DNS-имени. Рекомендуем подключаться по доменному имени, чтобы обращаться к нужной ноде даже во время аварийного переключения или масштабирования. Узнайте подробнее о подключении к PostgreSQL, MySQL и Redis 6.

Кластер успешно создан и работает, если у него и всех виртуальных машин наблюдается статус Active — он отображается в панели управления Selectel. Если кластер или серверы не находятся в этом статусе, значит, что-то идет не так.

Например, в отказоустойчивом кластере может стать недоступным мастер: он в течение 30 секунд не посылает информацию о том, что находится в статусе Active. В таком случае происходит аварийное переключение с мастера на реплику.

Если кластер состоит только из мастера, и мастер стал недоступен, то временно становится недоступен весь кластер — пока вместо мастера не будет создан новый сервер. При этом базы данных не пропадают, а также лишь становятся недоступны на время.

Вы можете создать новый кластер из резервной копии. А если понадобится помощь, пишите в техническую поддержку. Мы удалим существующую виртуальную машину, заменим ее на другую и разберемся с причинами инцидента.

Вы можете создать:

• до 10 000 баз данных в одном кластере,
• до 1 000 пользователей в одном кластере.

Также у нас есть лимит на количество кластеров. Он зависит от квот на ресурсы: базы данных, vCPU, RAM и локальный диск.

Как увеличить лимит квот

1. перейдите в раздел Облачная платформа ⟶ Квоты,
2. выберите регион, где хотели бы изменить квоты,
3. нажмите Изменить квоты.

Если ресурс отмечен значком Предел достигнут, значит, лимит исчерпан. В таком случае создайте тикет, чтобы увеличить лимит аккаунта. Больше подробностей о квотах и лимитах мы собрали в нашей документации.

Кроме того, кластер можно создавать только в приватных и публичных подсетях. Использовать плавающий IP-адрес не получится.

Когда диск виртуальной машины заполнится на 80% и более, мы предупредим, что место на нем кончается, и предложим запланировать масштабирование кластера.

Когда место на диске кончится, кластер автоматически перейдет в режим read-only, то есть будет работать только на чтение, без записи. Мы сразу сообщим вам об этом и отправим несколько тикетов. Статус кластера сменится на DISK_FULL.

Чтобы вернуть кластер в нормальный режим, его нужно будет масштабировать — то есть выбрать конфигурацию с более крупным размером диска.

Нет, мы не предоставляем роль суперпользователя для работы с облачными базами данных Selectel.

Суперпользователь может полностью контролировать базу данных и сервер, например изменять конфигурации, управлять пользователями и выполнять критически важные команды. Предоставление этой роли может привести к нарушению безопасности, утечке данных и сбоям в работе системы. Если вам необходимо выполнить действия, которые может выполнить только суперпользователь, создайте тикет.

Мы даем гарантию, что надежность для облачных серверов Selectel составляет 99,98%. Если серверы будут недоступны, мы компенсируем 0,5% стоимости услуги за каждые 30 минут простоя. Эти показатели регламентируют «Условия использования отдельных сервисов».

Специалисты нашей техподдержки доступны 24/7. Они ответят на ваши вопросы и помогут разобраться в технических трудностях. Если у вас есть вопрос, создайте тикет в панели управления.

У нас есть шесть собственных дата-центров в России: в Санкт-Петербурге, Ленинградской области и Москве. Также наши серверы располагаются в партнерском дата-центре в Новосибирске.

Если хотите перенести СУБД к нам, обращайтесь к экспертам по миграции в Selectel. Инженеры проведут оценку и сформируют требования, чтобы потом бережно перенести ваши проекты. Все это — бесплатно. Узнайте подробности на странице акции.