S3

S3 (cloud object storage, или s3 cloud storage) подходит для хранения данных любых форматов. В нем можно размещать как данные высоконагруженных сервисов, к которым приходится часто обращаться, так и редко используемые данные с долгим жизненным циклом: архивы, логи, журналы, базы данных, истории запросов, финансовую отчетность. Мы бережно разместим в хранилище массивы данных в исходном виде и будем четко следовать настроенным политикам доступа.

В S3 можно хранить бэкапы. В таком случае оно может помочь быстро восстановить данные при сбоях. Самый надежный вариант — когда сервер и хранилище с резервными копиями размещены в разных зонах доступности.

Также S3 используется для хостинга статических сайтов, совместной работы с документами внутри компаний, аналитики и хранения данных, которые используются для обучения ML-алгоритмов. Области применения хранилища и сценарии использования хранения могут быть самыми разными — все зависит от задач компании.

• Хранилища файлов (Google Drive или Dropbox) подходят, чтобы хранить небольшие объемы данных и обмениваться ими с другими пользователями.

• S3 поможет хранить данные крупных бизнес-проектов: игр и интернет-магазинов, бэкенд сайтов и приложений. Это оптимальное решение для огромных массивов полуструктурированных и неструктурированных данных любых форматов, одно из его главных преимуществ — масштабируемость.

Выделяют три типа облачных хранилищ: файловые, блочные и объектные.

В файловом хранилище хранение организовано по принципу иерархии: данные хранятся в файлах, файлы — в папках, папки объединены в подкаталоги и каталоги. В таком хранилище просто ориентироваться, поэтому его часто используют для совместной работы. Файловое хранилище подходит для больших объемов структурированных данных, однако из-за разветвленной иерархии плохо масштабируется.

В блочном хранилище файлы делятся на равнозначные блоки. У каждого из них есть свой идентификатор — по нему система хранения собирает блоки обратно в файлы. Блочное хранилище подходит для интеграции с корпоративными базами данных благодаря низким задержкам и высокой скорости ввода-вывода. Однако данными в блочном хранилище сложно управлять из-за отсутствия метаданных и большого количества настроек. Кроме того, такой тип хранилища один из самых дорогих, так как приходится платить за все пространство, даже если оно не занято данными.

В S3 файлы хранятся как объекты с набором свойств. Свойства хранят идентификатор и метаданные. Благодаря этому, в отличие от файлового хранилища, здесь нет иерархии, и S3 легко масштабировать. При этом приложениям удобно обращаться к данным: поддерживается доступ через различные протоколы и API.

Какие еще сходства и различия есть у файловых, блочных и объектных хранилищ, читайте в статье нашего блога.

S3 — это протокол передачи данных, разработанный Amazon Web Services.

S3-объектное хранилище — то же самое, что и объектное хранилище.

• Стандартное хранилище лучше подойдет для раздачи статического контента и других данных, к которым нужен быстрый доступ: медиаконтента, данных с сайтов, документов, писем. Стоимость трафика и запросов здесь ниже, но выше стоимость хранения.

• Холодное хранилище выгоднее использовать для архивного хранения редко используемых данных. Если вам нужно разместить резервные копии, архивы, логи, отчеты и другие подобные объекты, такой класс хранения поможет добиться экономии: стоимость хранения будет ниже, а стоимость запросов и трафика — выше.

S3 оплачивается на почасовой основе — списания происходят в конце каждого часа, пока вы пользуетесь сервисом. При этом вы платите только за объем данных, который храните фактически.

Цена зависит от того, какое хранилище выбрать: стандартное или холодное.

Также на нее влияют:

• объем хранения;
• исходящий трафик;
• число запросов к API — операций чтения объектов (GET, HEAD) и добавления, изменения и копирования объектов (PUT, POST, COPY).

Рассчитать, сколько будет стоить аренда места в облаке, поможет калькулятор.

Мы размещаем данные на серверах в надежных дата-центрах. Они строго охраняются: 100 камер видеонаблюдения круглосуточно следят за дата-центром внутри и снаружи. В каждом помещении есть система контроля и учета, а доступ к оборудованию есть только у наших инженеров.

Перенести данные можно с помощью Rclone или любого другого ПО — вам понадобятся только лицензии.

Подготовьте хранилища, мигрируйте основную часть данных и синхронизируйте данные. Читайте в документации, как провести миграцию.

Шаг 1. Пополните баланс в панели управления. Деньги будут списываться с баланса каждый час в соответствии с моделью оплаты.

Шаг 2. Создайте бакет. Это способ организации хранения данных и доступа к ним. Он содержит файлы и папки с файлами.

Шаг 3. Настройте доступ к бакету.

Шаг 4. Выберите интерфейс для работы с хранилищем — через панель управления, FTP, AWS S3 или Openstack Swift API.

Читайте в документации, как быстро начать работу с S3.

Для работы с S3 от Selectel можно использовать протоколы FTP/FTPS/SFTP, интерфейсы командной строки RClone, AWS CLI, S3cmd и Duplicity, файловый менеджер Cyberduck и другие инструменты. Также управлять хранилищем можно с помощью API.

Мы поддерживаем:

• Selectel Storage API,
• Swift API,
• S3 API.

Кроме того, управлять хранилищем можно в панели управления Selectel.

Читайте статью в документации об инструментах для работы с хранилищем.

Ограничений нет, вы можете хранить любое количество объектов и любой объем данных, от одного гигабайта до десятков петабайт. Просто добавляйте нужные объекты и не думайте о месте в хранилище благодаря автоматическому масштабированию.

У нас есть лимиты на количество бакетов и запросов к API. Подробнее о квотах и лимитах читайте в документации.

Вы можете загружать, перемещать, копировать, скачивать и удалять объекты, а также создавать папки и управлять ими. Когда вы меняете объекты, то же самое происходит и с их копиями.

Читайте в документации, как работать с объектами хранилища.

Да, вы можете подключить бакет как сетевой диск через FTP-протокол или с помощью сторонних популярных утилит, например, Rclone, WinSCP или других. Подробнее о том, как монтировать бакет S3 в Linux, читайте в инструкции.

Скидки на S3 не суммируются.

При этом в Selectel вы можете воспользоваться несколькими специальными предложениями для разных продуктов и услуг. Например, не оплачивать хранение данных и входящие запросы во время миграции в S3 и использовать прерываемые виртуальные машины со скидкой.

S3 подходит для хранения неструктурированных и полуструктурированных данных.

Неструктурированные — данные, которые не имеют четко определенного формата и с трудом поддаются анализу: аудио и видео, фото и изображения, документы, электронные письма, веб-страницы. А еще резервные копии, архивы, логи, образы виртуальных машин, данные аналитики и дата-сеты для машинного обучения.

Полуструктурированные — данные, которые имеют более оформленный вид, но еще не полностью структурированы. К ним можно отнести архивные файлы, XML и веб-файлы.

Метаданные — это информация об объектах, которые размещены в хранилище: название, тип, размер, дата создания. Также можно добавлять собственные метаданные.

С помощью метаданных проще управлять хранилищем: сортировать, искать и удалять нужные объекты, назначать политики хранения, анализировать данные и многое другое.

Вы платите только за ресурсы, которые потребляете фактически, — это возможность избежать простоев и лишних расходов.

Также вы можете выбрать подходящий тариф, чтобы сэкономить. Например, стандартное хранилище больше подходит для данных, к которым требуется быстрый доступ. А холодное хранилище — для данных, к которым можно обращаться редко.

Вам доступна IAM-система: она разграничивает доступ к ресурсам и данным, а также определяет роли пользователей.
Также в S3 можно настроить политики доступа к бакетам. Они определяют, кто может выполнять действия с ним и что это будут за действия.

Мы храним данные в трех копиях. Копии размещены на серверах, не связанных между собой, в разных стойках. Если что-то произойдет с сервером или даже всей стойкой, ваши данные будут целы.

Скорость загрузки и выгрузки данных зависит от многих факторов: например, размера файлов, скорости интернет-соединения, пропускной способности канала, использования специальных утилит.