{Aurora}Amazon S3 バケットへのスナップショットのエクスポート

サーバー側の暗号化用のKMSカスタマキー(CMK)が必要
データは Apache Parquet 形式で一貫して圧縮され、保存されます。
デフォルトでは、スナップショット内のすべてのデータがエクスポートされます。
ただし、特定のデータベース、スキーマ、またはテーブルのセットをエクスポートすることもできます。
データをエクスポートすると、Amazon Athena や Amazon Redshift Spectrum などのツールを使用して、エクスポートしたデータを直接分析できます。

-- 1. KMSカスタマキーの作成
vim key01.json

{
"Id": "key01",
"Version": "2012-10-17",
"Statement": [
{
"Sid": "Enable IAM User Permissions",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::999999999999:root"
},
"Action": "kms:*",
"Resource": "*"
},
{
"Sid": "Allow access for Key Administrators",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::999999999999:user/iamuser"
},
"Action": [
"kms:Create*",
"kms:Describe*",
"kms:Enable*",
"kms:List*",
"kms:Put*",
"kms:Update*",
"kms:Revoke*",
"kms:Disable*",
"kms:Get*",
"kms:Delete*",
"kms:TagResource",
"kms:UntagResource",
"kms:ScheduleKeyDeletion",
"kms:CancelKeyDeletion"
],
"Resource": "*"
},
{
"Sid": "Allow use of the key",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::999999999999:user/iamuser"
},
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:GenerateDataKey*",
"kms:DescribeKey"
],
"Resource": "*"
},
{
"Sid": "Allow attachment of persistent resources",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::999999999999:user/iamuser"
},
"Action": [
"kms:CreateGrant",
"kms:ListGrants",
"kms:RevokeGrant"
],
"Resource": "*",
"Condition": {
"Bool": {
"kms:GrantIsForAWSResource": "true"
}
}
}
]
}

aws kms create-key \
--description key01 \
--policy file://key01.json

aws kms create-alias \
--alias-name alias/key01 \
--target-key-id 11111111-2222-3333-4444-555555555555

-- 2. Amazon S3 バケットへのアクセスを設定する

-- ポリシーの作成

vim policy01.json

{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "ExportPolicy",
"Effect": "Allow",
"Action": [
"s3:PutObject*",
"s3:ListBucket",
"s3:GetObject*",
"s3:DeleteObject*",
"s3:GetBucketLocation"
],
"Resource": [
"arn:aws:s3:::mybucket1234",
"arn:aws:s3:::mybucket1234/*"
]
}
]
}

aws iam create-policy \
--policy-name policy01 \
--policy-document file://policy01.json

-- ロールの作成
vim role01.json

{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "export.rds.amazonaws.com"
},
"Action": "sts:AssumeRole",
"Condition": {}
}
]
}

aws iam create-role \
--role-name role01 \
--assume-role-policy-document file://role01.json

-- ポリシーをロールにアタッチ
aws iam attach-role-policy --policy-arn arn:aws:iam::999999999999:policy/policy01 --role-name role01

--3. Amazon S3 バケットへのスナップショットのエクスポート

aws rds start-export-task \
--export-task-identifier snapshot-export-01 \
--source-arn arn:aws:rds:ap-northeast-1:999999999999:cluster-snapshot:cluster01-snapshot01 \
--s3-bucket-name mybucket1234 \
--iam-role-arn arn:aws:iam::999999999999:role/role01 \
--kms-key-id arn:aws:kms:ap-northeast-1:999999999999:key/11111111-2222-3333-4444-555555555555

--4. スナップショットのエクスポートのモニタリング

aws rds describe-export-tasks

タスクが開始するまでかなり時間がかかる

--5. クリーンアップ

-- ロールの一覧
aws iam list-roles | grep role01

-- ロールの削除

aws iam detach-role-policy \
--role-name role01 \
--policy-arn arn:aws:iam::999999999999:policy/policy01

aws iam delete-role --role-name role01

-- ポリシーの一覧
aws iam list-policies | grep policy01

-- ポリシーの削除
aws iam delete-policy \
--policy-arn arn:aws:iam::999999999999:policy/policy01

-- KMSキーの一覧
aws kms list-keys
aws kms list-aliases

-- KMSキーの削除

aws kms schedule-key-deletion \
--key-id 11111111-2222-3333-4444-555555555555 \
--pending-window-in-days 7

-- スナップショット一覧
aws rds describe-db-cluster-snapshots

-- スナップショット削除
aws rds delete-db-cluster-snapshot --db-cluster-snapshot-identifier cluster01-snapshot01

-- バケット一覧
aws s3 ls

-- バケット削除
aws s3 rb s3://mybucket1234 --force