2021-08-01から1ヶ月間の記事一覧

{DynamoDB}Amazon DynamoDB の変更データキャプチャ

AWS

DynamoDB 用 Kinesis Data Streams・データ保持期間 1日~365日・レコードの順序 異なる場合あり・重複レコード あり DynamoDB Streams・データ保持期間 1日・レコードの順序 同じ・重複レコード なし 前提:aws-cli/2.2.31※aws cli version 1の場合、エラー…

{DynamoDB}セカンダリインデックスを使用したデータアクセス性の向上

AWS

グローバルセカンダリインデックス・パーティションキーのみ or パーティションキーとソートキー・サイズ制限なし・既存のテーブルに追加、削除できる・結果整合性・ベーステーブルと異なるキャパシティーを使用・テーブルごとに最大20個 ローカルセカンダリ…

{DynamoDB}PartiQL: Amazon DynamoDB 用の SQL 互換クエリ言語

AWS

前提:aws-cli/2.2.30※aws cli version 1の場合、PartiQLは使用できない -- 1. aws cli version 2 インストール curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"unzip awscliv2.zipsudo ./aws/install 新しいセッション…

{DynamoDB}DynamoDB の有効期限 (TTL) を使用して項目を有効期限切れにする

AWS

項目には、テーブルで TTL が有効になったときに指定された属性が含まれている必要があります。TTL 属性の値は Number データ型である必要があります。TTL 属性の値は、Unix エポック時間形式のタイムスタンプ (秒単位) である必要があります。TTL 属性値は…

{DynamoDB}グローバルテーブル: DynamoDB を使用した複数リージョンレプリケーション

AWS

グローバルテーブルは 1 つ以上のレプリカテーブルの集合体であり、すべて単一の AWS アカウントが所有します。 アプリケーションが 1 つのリージョンのレプリカテーブルにデータを書き込むと、DynamoDB はその書き込みを他の AWS リージョンの他のレプリカ…

{DynamoDB}DynamoDB Auto Scaling によるスループット容量の自動管理

AWS

-- ステップ 0: クライアントEC2(Amazon Linux2)にPython3.8をインストール amazon-linux-extras list | grep pythonsudo amazon-linux-extras install -y python3.8python3.8 -V sudo pip3.8 install boto3 -- ステップ 1: DynamoDB テーブルを作成する aws…

{DynamoDB}DynamoDB の使用開始

AWS

-- ステップ 1: テーブルを作成する aws dynamodb create-table \--table-name tab1 \--attribute-definitions \ AttributeName=col1,AttributeType=S \ AttributeName=col2,AttributeType=S \--key-schema \ AttributeName=col1,KeyType=HASH \ AttributeNa…

{RedshiftDB}手動ワークロード管理 (WLM) キューの設定

AWS

デフォルトは自動WLM -- 1. パラメータグループ作成aws redshift create-cluster-parameter-group \--parameter-group-name pg01 \--parameter-group-family redshift-1.0 \--description pg01 aws redshift describe-cluster-parameter-groups vim a.json[ …

{RedshiftDB}Getting started with Amazon Redshift Spectrum

AWS

https://dev.classmethod.jp/articles/amazon-redshift-getting-started-with-spectrum/ -- 1. S3バケット作成 aws s3 mb s3://bucket123aws s3 ls -- 2. IAMロール作成 vim role01.json { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "P…

{RedshiftDB}データを Amazon S3 にアンロードする

AWS

-- 1. S3バケット作成 aws s3 mb s3://bucket123aws s3 ls -- 2. IAMポリシー作成vim policy01.json { "Version": "2012-10-17", "Statement": [ { "Sid": "s3export", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:ListBucket", "s3:PutObject" ], …

{RedshiftDB}Amazon S3 からのデータの読み込み

AWS

ファイルの数がクラスターのスライスの数の倍数になるようにデータをファイルに分割します。そうすることで、Amazon Redshift はスライス間でデータを均等に分割できます。 -- 1. S3バケット作成 aws s3 mb s3://bucket123aws s3 ls -- 2. IAMポリシー作成vi…

{Redshiftクラスタ}Amazon Redshift イベント通知

AWS

-- 1. SNSトピック作成 aws sns list-topicsaws sns list-subscriptions aws sns create-topic --name topic01 aws sns subscribe --topic-arn arn:aws:sns:ap-northeast-1:999999999999:topic01 --protocol email --notification-endpoint test@example.com…

{Redshiftクラスタ}データベース監査ログ作成

AWS

https://siguniang.wordpress.com/2014/07/21/aws-redshift-auditing-backed-by-s3/ 接続ログ、ユーザーログ、およびユーザーアクティビティログユーザーアクティビティログについては、enable_user_activity_logging データベースパラメータも有効にする必…

{Redshiftクラスタ}Amazon Redshift スナップショット

AWS

-- 1. クラスターの作成 aws redshift create-cluster \--db-name test \--cluster-identifier redshift01 \--cluster-type single-node \--node-type dc2.large \--master-username test \--master-user-password 'password' \--no-allow-version-upgrade \…

{Redshiftクラスタ}Managing clusters using the AWS CLI and Amazon Redshift API

AWS

-- 1. クラスターの作成 aws redshift create-cluster \--db-name test \--cluster-identifier redshift01 \--cluster-type single-node \--node-type dc2.large \--master-username test \--master-user-password 'password' \--no-allow-version-upgrade \…

{Redis}ElastiCache イベントのモニタリング

AWS

-- SNSトピック作成 aws sns list-topicsaws sns list-subscriptions aws sns create-topic --name topic01 aws sns subscribe --topic-arn arn:aws:sns:ap-northeast-1:999999999999:topic01 --protocol email --notification-endpoint test@example.com --…

{Redis}Backup 復元ElastiCache for Redis

AWS

Redis (クラスターモードが有効) は、クラスターレベル (API または CLI ではレプリケーショングループレベル) でのバックアップの作成のみをサポートしています。Redis (クラスターモードが有効) は、シャードレベル (API または CLI ではノードグループレ…

{Redis}にまたがるレプリケーションAWSグローバルデータストアを使用するリージョン

AWS

Global Datastore を使用するには、Redis エンジンバージョン 5.0.6 以降、および R5 または M5 ノードタイプ以上を使用します。 -- 1. グローバルデータストアの作成 aws elasticache create-replication-group \--replication-group-id redis01 \--replica…

{Redis}クラスターの管理

AWS

Redis (クラスターモードが無効)クラスターには、常に 1 個のシャード (API と CLI では 1 つのノードグループ) のみが含まれます。Redis シャードには、1 ~ 6 のノードが含まれます。シャードに複数のノードがある場合、シャードはレプリケーションをサポ…

{Memcached}クラスターの管理

AWS

-- 1. クラスタ作成 aws elasticache create-cache-cluster \--cache-cluster-id memcached01 \--cache-node-type cache.t3.micro \--engine memcached \--engine-version 1.6.6 \--cache-parameter-group default.memcached1.6 \--num-cache-nodes 1 -- 2. …

{RDS}データを RDS for PostgreSQL DB インスタンスから Amazon S3 にエクスポートする

AWS

-- 1. S3バケット作成 aws s3 mb s3://bucket123aws s3 ls -- 2. IAMポリシー作成vim policy01.json { "Version": "2012-10-17", "Statement": [ { "Sid": "s3export", "Action": [ "S3:PutObject" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::bucke…

{RDS}DB インスタンス 間での PostgreSQL データベースの移行

AWS

-- 1. RDSインスタンスの作成aws rds describe-db-engine-versions \--engine postgres \| jq -c '.DBEngineVersions | [ .Engine, .EngineVersion ]' aws rds create-db-instance \--db-instance-identifier postgres01 \--allocated-storage 20 \--db-inst…

{RDS}Amazon S3 データを RDS for PostgreSQL DB インスタンスにインポートする

AWS

-- 1. S3バケット作成 aws s3 mb s3://bucket123aws s3 ls -- 2. IAMポリシー作成vim policy01.json { "Version": "2012-10-17", "Statement": [ { "Sid": "s3import", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:ListBucket" ], "Resource": [ "a…

{RDS}Oracle のタイムゾーン

AWS

-- 1. RDSインスタンス作成 aws rds describe-db-engine-versions \--engine oracle-se2 \| jq -c '.DBEngineVersions | [ .Engine, .EngineVersion ]' aws rds create-option-group \--option-group-name og01 \--engine-name oracle-se2 \--major-engine-v…

{RDS}Oracle Data Pump を使用したインポート

AWS

-- 1. S3バケット作成 aws s3 mb s3://bucket123aws s3 ls -- 2. IAMポリシー作成vim policy01.json { "Version": "2012-10-17", "Statement": [ { "Sid": "s3integration", "Action": [ "s3:GetObject", "s3:ListBucket", "s3:PutObject" ], "Effect": "All…

{RDS}Oracle DB インスタンスの管理

AWS

-- 1. RDSインスタンス作成 aws rds describe-db-engine-versions \--engine oracle-se2 \| jq -c '.DBEngineVersions[] | [ .Engine, .EngineVersion ]' aws rds create-db-instance \--db-instance-identifier oracle01 \--allocated-storage 20 \--db-ins…

{RDS}Amazon RDS for SQL Server DB インスタンスと Amazon S3 の統合

AWS

https://dev.classmethod.jp/articles/rds-sql-server-s3-integration/ Amazon RDS for SQL Server を実行する DB インスタンスと Amazon S3 バケットの間でファイルを転送できます。全てのファイルは DB インスタンスの D:\S3\ に保存されます。 ファイル拡…

{RDS}SQL Server データベースのインポートとエクスポート

AWS

ネイティブバックアップおよび復元は、Amazon RDS でサポートされているすべてのエディションの Microsoft SQL Server で使用できます。 DB インスタンスでネイティブバックアップおよび復元を有効にするには、DB インスタンスのオプショングループに SQLSER…