S3 Миграция данных

S3 (Cloud Object Storage или S3 Cloud Storage) подходит для хранения данных любых форматов. В нем можно размещать данные высоконагруженных сервисов, к которым приходится часто обращаться, и редко используемые данные с долгим жизненным циклом: архивы, логи, журналы, базы данных, истории запросов, финансовая отчетность, хранение данных для AI/ML, Big Data, активные аналитические пайплайны и другое.

В S3 также можно хранить бэкапы. В таком случае оно может помочь быстро восстановить данные при сбоях. Самый надежный вариант — когда сервер и хранилище с резервными копиями размещены в разных зонах доступности.

Выделяют три типа облачных хранилищ: файловые, блочные и объектные.

В файловом хранилище хранение организовано по принципу иерархии: данные хранятся в файлах, файлы — в папках, папки объединены в подкаталоги и каталоги. В таком хранилище просто ориентироваться, поэтому его часто используют для совместной работы. Файловое хранилище подходит для больших объемов структурированных данных, однако из-за разветвленной иерархии плохо масштабируется.

В блочном хранилище файлы делятся на равнозначные блоки. У каждого из них есть свой идентификатор — по нему система хранения собирает блоки обратно в файлы. Блочное хранилище подходит для интеграции с корпоративными базами данных благодаря низким задержкам и высокой скорости ввода-вывода. Однако данными в блочном хранилище сложно управлять из-за отсутствия метаданных и большого количества настроек. Кроме того, такой тип хранилища один из самых дорогих, так как приходится платить за все пространство, даже если оно не занято данными.

В S3 файлы хранятся как объекты с набором свойств. Свойства хранят идентификатор и метаданные. В отличие от файлового хранилища, в S3 нет иерархии и его легко масштабировать. При этом приложениям удобно обращаться к данным: поддерживается доступ через различные протоколы и API.

Подробнее о сходствах и различиях файловых, блочных и объектных хранилищ в статье блога Что такое облачные хранилища и как используются.

• Стандартное хранилище лучше подойдет для раздачи статического контента и других данных, к которым нужен быстрый доступ: медиаконтента, данных с сайтов, документов, писем. Стоимость трафика и запросов здесь ниже, но выше стоимость хранения.
• Холодное хранилище выгоднее использовать для архивного хранения редко используемых данных. Если вам нужно разместить резервные копии, архивы, логи, отчеты и другие подобные объекты, такой класс хранения поможет добиться экономии: стоимость хранения будет ниже, а стоимость запросов и трафика — выше.

S3 подходит для хранения неструктурированных и полуструктурированных данных:

• к неструктурированным данным относят аудио и видео, фото и изображения, документы, электронные письма, веб-страницы, резервные копии, архивы, логи, образы виртуальных машин, данные аналитики и дата-сеты для машинного обучения;
• к полуструктурированным данным относят архивные файлы, XML- и веб-файлы.

Метаданные — это информация об объектах, которые размещены в хранилище: название, тип, размер, дата создания. Также можно добавлять собственные метаданные.

С помощью метаданных проще управлять хранилищем: сортировать, искать и удалять нужные объекты, назначать политики хранения, анализировать данные и многое другое.

Вы можете:

• выбирать тип бакетов — публичный или приватный;
• создавать пользователей с разными разрешениями. Разрешения определяют, определяет, какие операции и над какой группой ресурсов может выполнять пользователь;
• настраивать политики доступа к бакетам.

Подробнее в инструкции Управлять доступом в S3.

Работать с хранилищем S3 можно:

• через S3 API, Swift API и Object Storage API. Для работы через API можно использовать различные инструменты (Rclone, AWS CLI, s3cmd и другие);
• по протоколу FTP. Он использует Swift API для трансляции запросов в S3;
• через панель управления Selectel, которая выполняет запросы в S3 через Swift API и Object Storage API. У панели управления есть ограничения на работу с большим количеством объектов и с объектами большого размера;
• с помощью Terraform.

Вы можете:

• загружать, перемещать, копировать, скачивать и удалять объекты;
• включать версионирование, чтобы хранить предыдущие версии объектов;
• получать ссылки на объекты или обращаться к ним через API.

Подробнее в разделе Работа с объектами.

Скорость загрузки и выгрузки данных зависит от многих факторов — например, размера файлов, скорости интернет-соединения, пропускной способности канала, использования специальных утилит.

Да, вы можете подключить бакет как сетевой диск по FTP или с помощью сторонних утилит, например Rclone, WinSCP и других.

Подробнее о том, как монтировать бакет S3 в Linux, читайте в инструкции блога Как монтировать бакет объектного хранилища в Linux.

S3 построено на базе программно-определяемой распределенной системы хранения данных, которая использует распределенные методы защиты. Каждый объект сохраняется в нескольких независимых вариантах или преобразуется в набор специальных блоков, из которых его можно восстановить при необходимости. Это позволяет системе продолжать работу даже при отказе части инфраструктуры.

Наши дата-центры соответствуют международным стандартам Tier III и строго охраняются: камеры видеонаблюдения круглосуточно следят за дата-центрами внутри и снаружи, а доступ к оборудованию есть только у наших инженеров.

Ограничений нет, вы можете хранить любое количество объектов и любой объем данных — хранилище масштабируется автоматически.

В хранилище есть ограничение количества бакетов и запросов к API, подробнее в инструкции Ограничения S3.

S3 оплачивается по модели pay-as-you-go — оплата за потребленные ресурсы списывается каждый час.

На стоимость влияет класс хранения и потребление ресурсов:

• объем хранения;
• объем исходящего трафика;
• количество запросов к API — операций чтения объектов (GET, HEAD) и добавления, изменения и копирования объектов (PUT, POST, COPY).

Рассчитать примерную стоимость использования S3 можно в калькуляторе ресурсов.

• вы платите только за ресурсы, которые потребляете фактически — объем хранения, исходящий трафик и количество запросов к API;
• вы можете выбрать класс хранилища, который будет выгоден для ваших задач. Стандартное хранение больше подходит для данных, к которым требуется быстрый доступ, а холодное — для данных, к которым нужно обращаться редко.