Александр Гришин, Автор в Академия Selectel

Катастрофоустойчивое хранение данных — одна из актуальных задач при построении IT-инфраструктуры. Но ее решение может завести в тупик. Как оптимальнее организовать хранение данных, исключив домены отказа? А как разместить определенные данные ближе к целевой нагрузке или части аудитории? Как организовать асинхронную репликацию данных между Москвой и Санкт-Петербургом? Меня зовут Гришин Александр, я продакт-менеджер в Selectel и отвечаю за развитие объектного хранилища и облачных баз данных. В этой статье я расскажу, как с помощью мультирегиональности взаимодействовать с разными регионами S3 через Python и библиотеку boto3. Обзор регионов в объектном хранилище Selectel Объектное S3-хранилище в Selectel на данный момент предлагает к использованию два региона: Санкт-Петербург и Москву. Регион Санкт-Петербург, пул ru-1. Находится в группе ЦОД Дубровка и представляет собой три отдельных, независимых друг от друга дата-центра уровня Tier III общей мощностью около 1 000 стоек. Суммарная полезная площадь — около 2 500 м2. Каждый ЦОД в этой группе имеет независимые системы: питание (в том числе резервное с дизель-генераторными установками), сетевое оборудование, сетевой канал, системы охлаждения, системы пожаротушения и т. д. Кстати, мы планируем кратно увеличить мощности в этом регионе.Регион Москва, пулы gis-1 и ru-7. Находятся в группе ЦОД Берзарина и представляют собой отдельные независимые друг от друга этажи в одном здании уровня Tier III. Объем мощности — около 1 500 стоек, полезная площадь — около 2 800 м2. Каждый этаж в этой локации также обладает теми же независимыми системами жизнеобеспечения, что и дата-центры в Петербурге. Отдельно отмечу, что пул gis-1 соответствует требованиям 17 Приказа ФСТЭК для работы государственных информационных систем. Используйте его, если для вас актуальны: требования Приказа ФСТЭК России от 11 февраля 2013 г. № 17, требования Приказа ФСТЭК России от 18 февраля 2013 г. № 21, специальные требования и рекомендациям по технической защите конфиденциальной информации (СТР-К, Приказ Гостехкомиссии от 30.08.2002 № 282). К тому же, дата-центр подходит для размещения: государственных информационных систем до первого класса защищенности (К1) включительно, информационных систем персональных данных (ИСПДн) до первого уровня защищенности (УЗ-1) включительно, автоматизированных систем (АС) в защищенном исполнении класса 1Г. Часть работы в панели управления Selectel Очень подробный пошаговый гайд вы найдете в недавней статье моего коллеги. Я же перечислю только основные шаги: Перейдите в панель управления → Объектное хранилище Выберете нужный регион и нажмите Создать контейнер. Выберите тип адресации vHosted. Что касается типа контейнера, то для работы с чувствительными данными подойдет приватный, а если планируете реализовать доступ к контенту без авторизации, выберите публичный. Повторите первые три шага в каждом интересующем вас регионе: ru-1, gis-1, ru-7. Создайте служебного пользователя с ролью администратор объектного хранилища и доступом в нужный проект. Создайте S3-ключ в панели управления. Сохраните Access Key и Secret Key (будьте внимательны: ключи не хранятся в наших системах и показываются только один раз). Часть работы на стороне клиента Настройка клиента boto3 для разных регионов Для работы с мультирегиональным хранилищем будем указывать соответствующий endpoint — URL для каждого региона: Создание бакетов в разных регионах В рамках нашей услуги бакет — это контейнер с vHosted-адресацией и, как следствие, уникальным именем и доменом вида . Выше мы уже создавали нужные бакеты через панель управления. Однако создание бакета поддерживается и через S3 API, а значит оно возможно из кода: Список объектов в бакетах разных регионов Теперь выведем список объектов в нашем мультирегиональном хранилище: Просто и элегантно мы получаем список объектов, фактически хранящихся в разных городах и ЦОДах. Копирование объектов внутри региона Для репликации данных можно перемещать их между бакетами. Например, при помощи copy_object, который работает в рамках одного региона: Теперь мы уверены, что в случае катастрофы в одном регионе наши данные продублированы в другом. Тривиальный пример работы с мультирегиональным хранилищем Теперь соберем все это воедино: Заключение Мультирегиональность в объектном хранилище Selectel открывает новые возможности для управления данными. Среди них — балансировка нагрузки, катастрофоустойчивость, резервное копирование и ускоренный доступ. Используя Python и boto3, можно легко работать с разными регионами, перемещать объекты и обеспечивать отказоустойчивость.

Александр Гришин

Материалы автора

Облачные базы данных как конструктор

Разбираемся в облачных хранилищах на примере Top Gear

Apache Kafka: разбираемся в технологии в теории и на практике