Алексей Клюев

Хранение данных в S3 часто воспринимается как нечто простое: загрузили объект, при необходимости обновили или удалили. Но на практике это хранилище обычно используется в сценариях, в которых цена ошибки слишком высока. Вы же хотите случайно удалить или перезаписать бэкапы, логи, артефакты сборки или данные, подпадающие под регуляторные требования. Чтобы защититься от подобных ситуаций, в S3 есть механизм Object Lock. Базовые термины Object Lock — это механизм S3, который позволяет защитить объекты от удаления и перезаписи на заданный срок или бессрочно. Он реализует модель WORM (Write Once, Read Many): объект можно записать один раз, после чего его содержимое нельзя изменить или удалить, пока действует блокировка. Эта функциональность обычно используется для выполнения регуляторных требований, где требуется WORM-хранилище, а также как дополнительный уровень защиты от случайных или ошибочных действий — например, удаления бэкапов или логов. Object Lock поддерживает два способа блокировки версии объекта: период хранения (retention) и юридическую блокировку (legal hold). Для каждой версии объекта можно использовать один из них или оба одновременно. Период хранения (retention) Retention работает в одном из двух режимов: GOVERNANCE — позволяет пользователям с соответствующими правами сократить срок удержания или удалить объект с использованием специального заголовка; COMPLIANCE — запрещает изменение или удаление объекта до истечения срока удержания даже для пользователей с максимальными правами. Эти режимы определяют строгость применения retention, но не являются отдельными типами блокировки. Период хранения задает фиксированный промежуток времени, в течение которого конкретная версия объекта остается заблокированной. До истечения этого срока объект нельзя удалить или перезаписать. Период хранения можно: задавать индивидуально для отдельных объектов; настраивать по умолчанию для всего бакета; ограничивать минимальное и максимальное значение через политику бакета с использованием условия s3:object-lock-remaining-retention-days. Юридическая блокировка(legal hold) Юридическая блокировка обеспечивает ту же защиту, что и период хранения, но не имеет срока действия. Она действует до тех пор, пока вы явно не снимете ее вручную. Юридические блокировки применяются к отдельным версиям объектов и не зависят от настроек retention. Object Lock работает только в бакетах с включенным версионированием S3. При установке блокировки информация о ней сохраняется в метаданных конкретной версии объекта. Важно учитывать, что блокировка: защищает только указанную версию объекта; не запрещает создание новых версий; не предотвращает появление delete-marker’ов при удалении объекта. Если загрузить объект с тем же ключом в бакет, где уже существует защищенная версия, S3 создаст новую версию. При этом ранее защищенная версия останется заблокированной в соответствии с заданными настройками хранения. Часть работы в панели управления Selectel В этой статье все операции с бакетами и Object Lock мы будем выполнять через API, поэтому заранее создавать бакет в панели управления не требуется. Перед началом работы нам нужно только получить учетные данные для доступа к S3 — Access Key и Secret Key. Для этого создадим сервисного пользователя и выпустим S3-ключ. Кратко перечислю основные шаги: Перейдите в панель управления Selectel → Сервисные пользователи. Нажмите «Добавить сервисного пользователя». Укажите имя пользователя и сгенерируйте пароль (или задайте свой). В разделе настройки доступов выберите нужный проект и назначьте роль member.Эта роль необходима, в том числе, для операций с Object Lock (например, для использования BypassGovernanceRetention). Нажмите «Добавить пользователя». Откройте созданного пользователя → вкладка «Доступ» → в разделе S3-ключи нажмите «Добавить ключ». Выберите проект, укажите имя ключа и нажмите «Сгенерировать». Сохраните Access Key и Secret Key. После этого вы можете использовать полученные ключи для работы с S3 через SDK или CLI и выполнять все дальнейшие действия, включая создание бакетов, настройку Object Lock и управление политиками удержания, непосредственно из кода. Инициализация S3-клиента Во всех примерах в этой статье мы будем использовать один и тот же код инициализации S3-клиента на Go. Он полностью совпадает с тем, что использовался в моей предыдущей статье про условные операции записи. Для работы с S3 используется SDK от Amazon — aws-sdk-go-v2. Вспомогательная функция NewS3Client загружает конфигурацию из стандартных файлов (~/.aws/config и ~/.aws/credentials), проверяет регион и валидность учетных данных, после чего возвращает готовый к использованию клиент S3. Этот клиент будет использоваться во всех последующих примерах — для создания бакетов, настройки Object Lock, установки политик удержания и управления объектами. Создание бакета с Object Lock Object Lock можно включить либо сразу при создании бакета, либо позже — для уже существующего. Рассмотрим оба варианта. Создание нового бакета с Object Lock Если вы создаете бакет с нуля, самый простой способ — сразу включить Object Lock при вызове CreateBucket. Для этого достаточно передать параметр ObjectLockEnabledForBucket. Пример вспомогательной функции: Такой бакет будет создан с поддержкой Object Lock и готов к дальнейшей настройке правил удержания объектов. Включение Object Lock для существующего бакета Если бакет уже существует, включить Object Lock можно, но с одним важным условием: в бакете обязательно должно быть включено версионирование.Сначала включим версионирование с помощью PutBucketVersioning: После этого можно включить Object Lock через PutObjectLockConfiguration: После выполнения этих операций бакет будет настроен для работы с Object Lock. Настройка retention по умолчанию Дальше есть два варианта: задавать retention индивидуально для каждого объекта; определить правила по умолчанию, которые будут применяться ко всем новым объектам в бакете. Стандартные правила retention можно указать сразу при вызове PutObjectLockConfiguration. Например, следующий код задает retention-период в пять дней в режиме GOVERNANCE для всех новых объектов: Такой подход удобен, если вы хотите сразу защитить все новые объекты от случайного удаления или перезаписи без необходимости настраивать retention для каждого из них вручную. Установка политики удержания на объект После включения Object Lock на уровне бакета можно задавать правила удержания уже для конкретных объектов или их версий. Установка retention и legal hold при загрузке объекта Политику удержания и юридическую блокировку можно задавать не только после загрузки объекта, но и сразу в момент записи. Это предпочтительный вариант, так как он исключает временное окно, в котором объект существует без защиты. При загрузке объекта через PutObject можно сразу указать: режим и срок временного удержания (retention); юридическую блокировку (legal hold); или оба механизма одновременно. Установка retention при загрузке В примере ниже объект загружается с политикой удержания сроком на 7 дней в режиме COMPLIANCE: В этом случае объект с момента создания будет защищен от удаления и перезаписи до указанной даты. Установка legal hold при загрузке Аналогично можно установить юридическую блокировку сразу при загрузке объекта: Юридическая блокировка не имеет срока действия и будет активна до тех пор, пока вы явно не снимете ее с помощью PutObjectLegalHold. При необходимости оба механизма можно использовать вместе. Такой подход позволяет гарантировать, что объект никогда не окажется в незащищенном состоянии даже на короткое время между загрузкой и последующей установкой политики удержания. Установка retention и legal hold для multipart-объектов При multipart-загрузке параметры Object Lock задаются на этапе создания загрузки, то есть при вызове CreateMultipartUpload. Именно в этот момент определяется конфигурация будущего объекта. Метод CompleteMultipartUpload используется только для завершения загрузки и не позволяет задать или изменить параметры Object Lock. В следующем примере multipart-загрузка создается с: политикой удержания сроком на 7 дней; юридической блокировкой (legal hold), действующей до явного снятия. После загрузки всех частей и вызова CompleteMultipartUpload объект будет создан с заданным сроком удержания и бессрочной юридической блокировкой. Удалить или изменить такой объект можно будет только после снятия legal-hold и с учетом режима политики удержания. Временное удержание (retention) Для установки временного периода удержания используется метод PutObjectRetention. В запросе необходимо указать режим удержания и дату, до которой объект будет заблокирован. Помимо ключа объекта можно также передать VersionId, если требуется применить правило не к последней версии. Пример установки удержания сроком на одну неделю: Важно учитывать несколько моментов: Политика удержания применяется к конкретной версии объекта. В режиме COMPLIANCE срок удержания нельзя сократить или снять до его окончания. В режиме GOVERNANCE такие операции возможны, но только при наличии соответствующих прав. Для этого в PutObjectRetention предусмотрен параметр BypassGovernanceRetention. Он позволяет: уменьшить срок удержания для объектов под политикой GOVERNANCE; удалить объект, даже если период удержания еще не истек. При этом не все сервисные пользователи имеют право использовать этот параметр. В Selectel S3 такая возможность доступна только пользователю с ролью member. Юридическая блокировка (legal hold) Для установки или снятия бессрочной блокировки используется метод PutObjectLegalHold. В отличие от retention, юридическая блокировка не имеет срока действия и остается активной до тех пор, пока вы явно не отключите ее.Статус блокировки задается значением ON или OFF: Как и в случае с retention, юридическая блокировка применяется к конкретной версии объекта и не мешает созданию новых версий с тем же ключом. Удаление объекта, находящегося под блокировкой Удаление объекта, защищенного с помощью Object Lock, напрямую зависит от типа блокировки, которая применяется к конкретной версии объекта. Перед удалением важно понять, какой тип блокировки применен к версии объекта: retention (и в каком режиме) или legal hold. Возможны три варианта: юридическая блокировка (legal hold); временное удержание в режиме GOVERNANCE; временное удержание в режиме COMPLIANCE. Рассмотрим каждый случай отдельно. Удаление объекта под юридической блокировкой (legal hold) Юридическая блокировка не имеет срока действия и действует до тех пор, пока вы явно не снимете ее. Поэтому для удаления объекта сначала необходимо отключить legal hold, а затем удалить нужную версию объекта. Сначала снимаем юридическую блокировку: После этого можно удалить конкретную версию объекта: Удаление объекта под временным удержанием в режиме GOVERNANCE В режиме GOVERNANCE объект можно удалить до истечения срока удержания, но только при наличии прав на использование заголовка BypassGovernanceRetention.Если такие права есть, удаление выполняется одним вызовом DeleteObject: Если же у пользователя нет разрешения на использование BypassGovernanceRetention, удалить объект до истечения срока удержания не получится — операция завершится ошибкой. Удаление объекта под временным удержанием в режиме COMPLIANCE Режим COMPLIANCE — самый строгий. Объекты, находящиеся под такой блокировкой, невозможно удалить или изменить до истечения заданного срока удержания.Даже пользователь с максимальными правами не сможет обойти это ограничение. Единственный возможный вариант — дождаться окончания периода удержания и только после этого выполнить запрос DeleteObject. Bucket policy и Object Lock Помимо настройки Object Lock на уровне бакета и объектов, на поведение блокировок можно дополнительно влиять с помощью bucket policy. Это позволяет централизованно разрешать или запрещать определенные операции, в том числе такие, которые могут быть нежелательны с точки зрения безопасности или стоимости хранения данных. Типичный пример — ограничение минимального срока удержания при загрузке объектов. Это полезно, если вы хотите гарантировать, что данные не будут сохраняться на слишком короткий срок, даже если клиент попытается задать меньший retention. Ниже приведен пример bucket policy, которая запрещает установку политики удержания с количеством дней меньше заданного значения: В этом примере любая попытка установить срок удержания меньше указанного значения будет отклонена на уровне политики бакета, независимо от того, кто выполняет запрос и с какими правами. Ключи условий Object Lock в bucket policy При работе с Object Lock в bucket policy можно использовать следующие ключи условий: s3:object-lock-mode, s3:object-lock-retain-until-date, s3:object-lock-remaining-retention-days, s3:object-lock-legal-hold. С их помощью можно строить более сложные правила — например, разрешать только определенные режимы удержания, запрещать установку legal hold или ограничивать диапазон допустимых дат хранения.

Алексей Клюев

Материалы автора

Как защититься от удаления в S3 с помощью Object Lock / WORM

Как избежать перезаписи в S3 с помощью условных заголовков