Как перенести корзину S3 в хранилище Google Cloud Platform

Если вы переходите с AWS на Google Cloud Platform, у вас может быть много данных, хранящихся в корзинах S3. К счастью, Google предоставляет инструмент для автоматической передачи содержимого корзины на собственную платформу облачного хранилища.

Перенос корзины S3 в облачное хранилище

Облачное хранилище работает очень похоже на сервис AWS S3, и в большинстве случаев оно должно служить заменой S3 с небольшими изменениями в клиентских приложениях. Google предоставляет отличное руководство по переносу клиентских приложений на основе S3 в облачное хранилище.

Однако вам также потребуется перенести каждое ведро S3 в ведро облачного хранилища. Этот процесс может занять некоторое время для больших сегментов, но его можно довольно легко автоматизировать с помощью инструментов передачи данных, встроенных в GCP.

Что касается AWS, вам нужно создать пользователя службы, который может получить доступ к корзинам S3. Вы можете использовать существующий, но создать новый довольно просто, и его можно удалить после завершения всего процесса. В консоли управления IAM (в AWS) создайте нового пользователя и предоставьте ему программный доступ, который создаст ключ доступа и секрет.

Вы можете предоставить ему AmazonS3FullAccess, но лучше создать новую политику с разрешениями на чтение и список для переносимых вами сегментов:

Нажмите «Далее», чтобы создать пользователя, и оставьте вкладку с ключом доступа и секретом открытой.

Теперь перейдите в Google Cloud Platform и выберите «Передача данных» > «Служба передачи» на боковой панели.

Выберите «Корзина Amazon S3», введите имя корзины и вставьте идентификатор ключа доступа.

Для целевого сегмента вам, вероятно, придется создать новый. Нажмите «Обзор» и создайте новую корзину с разрешениями и настройками, которые вы хотели бы использовать.

У вас есть несколько вариантов перевода, которые вы можете проверить здесь. Первый перезапишет все существующие файлы в целевом сегменте с таким же именем. Это не должно иметь большого значения с новым сегментом назначения. Второй удалит элементы из исходной корзины после завершения передачи. Если вы все еще работаете над переносом клиентских приложений в новую инфраструктуру, убедитесь, что этот флажок снят (и если вы предоставили пользователю IAM доступ только для чтения/списка, это все равно не сработает). Третий, по сути, сотрет ведро назначения со всего, чего нет в исходном ведре. Это опять же не должно иметь значения для новых ведер.

Нажмите «Продолжить» и нажмите «Создать». Передача должна начаться автоматически. Если есть только несколько предметов, это займет всего несколько минут. Статус передачи можно просмотреть в консоли передачи данных:

Вам придется повторить этот процесс для каждого сегмента S3. Если у вас слишком много сегментов S3, чтобы это было возможно, вам следует изучить возможность автоматизации всего переноса с помощью Storage Transfer API.