2021-01-01から1年間の記事一覧

{S3}Amazon S3 インベントリの設定

AWS

https://dev.classmethod.jp/articles/s3-inventory-reinvent/ Amazon S3 インベントリは、ストレージ管理に役立つ Amazon S3 が提供するツールの 1 つです。これは、ビジネス、コンプライアンス、および規制上のニーズに対応して、オブジェクトのレプリケー…

Oracleデータベース

OS

Ubuntu (16) https://www.nakivo.com/blog/how-to-install-oracle-on-ubuntu-linux-waltkhrough/ DB : 11gR2 -- 1. OS設定 vim /etc/sysctl.conf kernel.sem = 250 32000 100 128kernel.shmmni = 4096fs.file-max = 6815744net.ipv4.ip_local_port_range = 9…

{S3}Amazon S3 オブジェクトでの大規模なバッチオペレーションの実行

AWS

https://dev.classmethod.jp/articles/try-amazon-s3-batch-operations/ S3 バッチ操作でサポートされるオペレーション オブジェクトのコピーAWS Lambda 関数の呼び出しすべてのオブジェクトタグを置換するすべてのオブジェクトタグを削除するアクセスコント…

{S3}Amazon S3 Select を使用したデータのフィルタリングと取得

AWS

https://tkaaad97.hatenablog.com/entry/2018/06/05/013009 -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"unzip awscliv2.zipsudo ./aws/inst…

{S3}チュートリアル: レプリケーションの設定

AWS

レプリケート元とレプリケート先の両方のバケットで、バージョニングを有効にする必要があります。Amazon S3 には、お客様に代わってレプリケート元バケットから送信先バケットにオブジェクトをレプリケートするためのアクセス許可が必要です。 (1) レプリケ…

{S3}バケットのライフサイクル設定の指定

AWS

https://dev.classmethod.jp/articles/manage-s3-lifecycle-via-cli/https://dev.classmethod.jp/articles/lim-s3-lifecycle-rules/ 次の 2 種類のアクションがあります。移行アクション失効アクション オブジェクトは、キープレフィックス、オブジェクトタ…

{S3}S3 オブジェクトロックの使用

AWS

オブジェクトロックは、オブジェクトリテンションの管理をするための 2 つの方法、保持期間およびリーガルホールドを提供します。 オブジェクトロックは、バージョニングされたバケットでのみ機能し、保持期間とリーガルホールドは個々のオブジェクトバージ…

{S3}バケットでのバージョニングの有効化

AWS

バージョニングが有効になっている場合、単純な DELETE はオブジェクトを完全に削除することはできません。代わりに、Amazon S3 はバケットに削除マーカーを挿入します。このマーカーが新しい ID を持つオブジェクトの最新バージョンになります。 -- 作業概…

{S3}Cross-Origin Resource Sharing (CORS) の使用

AWS

https://dev.classmethod.jp/articles/lim-s3-cors-2021/ -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"unzip awscliv2.zipsudo ./aws/instal…

{S3}ウェブサイトのホスティングの有効化

AWS

https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/HostingWebsiteOnS3Setup.htmlhttps://qiita.com/airtanker/items/0cc194c8dcff1ee5a531 -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール curl "https://awscli.amazon…

{S3}例 4: バケット所有者が所有権のないオブジェクトへのクロスアカウントアクセス許可を付与する

AWS

-- 1. コマンド等のインストール [アカウントAの管理者ユーザで実行] -- 1.1 aws cli version 2 インストール [アカウントAの管理者ユーザで実行] curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"unzip awscliv2.zipsud…

{S3}例 3: バケット所有者が自分の所有していないオブジェクトに対するアクセス許可を付与する

AWS

-- 1. コマンド等のインストール [アカウントAの管理者ユーザで実行] -- 1.1 aws cli version 2 インストール [アカウントAの管理者ユーザで実行] curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"unzip awscliv2.zipsud…

{S3}例 2: バケット所有者がクロスアカウントのバケットのアクセス許可を付与する

AWS

アクセス許可は、ACL、バケットポリシー、およびユーザーポリシーによって付与できます。ただし、バケットポリシーまたはユーザーポリシーによって明示的な拒否が設定されている場合、他のアクセス許可よりも明示的な拒否が優先されます。 -- 1. コマンド等…

{S3}例 1: バケット所有者がユーザーにバケットのアクセス許可を付与する

AWS

バケット所有者とユーザーの親アカウントが同じであるため、 AWS アカウント は、バケットポリシー、ユーザーポリシー、またはその両方を使用してユーザーにアクセス許可を付与できます。この例では、両方を使用します。オブジェクトの所有者も同じアカウン…

{S3}サーバー側の暗号化を使用したデータの保護

AWS

https://dev.classmethod.jp/articles/lim-s3-sse-2021/https://tm200.hatenablog.com/entry/2021/04/21/201735https://siguniang.wordpress.com/2014/06/14/s3-encryption-with-aws-cli/http://x68000.q-e-d.net/~68user/unix/pickup?base64https://qiita.c…

{S3}マルチリージョンアクセスポイントの作成

AWS

https://dev.classmethod.jp/articles/s3-multi-region-access-points/ -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"unzip awscliv2.zipsudo…

{S3}S3 Object Lambda を使用したオブジェクトの変換

AWS

https://dev.classmethod.jp/articles/s3-object-lambda/ -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"unzip awscliv2.zipsudo ./aws/instal…

インデックス作成時のredo生成量

DB

Oracle、PostgreSQL、SQL Serverではインデックス作成時、インデックスと同じぐらいのサイズのREDOログが生成される MySQL (8.0.26) drop table tab1;create table tab1(col1 int ,col2 int,col3 int);drop procedure proc1; delimiter //create procedure p…

地理空間情報

DB

MySQL (8.0.26)https://note.com/moli9ma/n/n3b530e3ad1d5https://qiita.com/onunu/items/59ef2c050b35773ced0d 追加インストールは不要 drop table tab1;create table tab1 ( col1 int primary key, col2 varchar(255), col3 geometry SRID 4326); -- point…

統計情報がない時の実行計画

DB

まとめMySQLは動的に統計情報を取得している模様PostgreSQLはおおよその件数程度は動的に取得している模様Oracleは一貫性のない見積値を使用している模様 MySQL (8.0.26) drop table tab1; create table tab1(col1 int primary key,col2 int,col3 int); crea…

ファイルシステムブロックサイズ確認

OS

Ubuntu (20)http://www.nkjmkzk.net/?p=246 tune2fs -l /dev/mapper/ubuntu--vg-ubuntu--lvtune2fs -l /dev/mapper/ubuntu--vg-ubuntu--lv | grep "Block size" →4096バイト Debian (11)tune2fs -l /dev/sda1tune2fs -l /dev/sda1 | grep "Block size" →4096…

{S3}署名付き URL を使用したオブジェクトの共有

AWS

https://qiita.com/tmiki/items/87697d3d3d5330c6fc08 署名付き URL を受け取った相手は誰でも、そのオブジェクトにアクセスできるようになります。 -- 1. S3 バケットを作成する aws s3 mb s3://bucket123aws s3 ls -- 2. バケットにオブジェクトをアップロ…

{S3}マルチパートアップロードの AWS Command Line Interface サポート

AWS

https://blog.katsubemakito.net/aws/s3-multipartuploadhttps://aws.amazon.com/jp/premiumsupport/knowledge-center/s3-multipart-upload-cli/ aws s3 コマンドはファイルサイズに応じてマルチパートアップロードおよびマルチパートダウンロードを自動的に…

{S3}バケットでのリクエスタ支払いの設定

AWS

https://dev.classmethod.jp/articles/amazon-s3-requester-pay/ 通常は、データを共有したいが、他者がデータにアクセスする際に発生する費用を負担したくない場合に、リクエスタ支払いバケットをバケットに設定します。 リクエスタ支払いバケット内のオブ…

OEMインストール

https://dekiruengineer.com/engineer/oracle_enterprize_manager_13c_for_linux/https://oracle-base.com/articles/13c/cloud-control-13cr1-installation-on-oracle-linux-6-and-7https://docs.oracle.com/en/enterprise-manager/cloud-control/enterprise…

implicit data conversion

DB

MySQL (8.0.26) drop table tab1;create table tab1(col1 int primary key,col2 int,col3 varchar(30) ); drop procedure proc1; delimiter //create procedure proc1(in x int)begin declare i int; set i = 0; start transaction; while i < x do set i = …

文字単位で整列するコマンド

OS

Ubuntu (20) vi a.txtあああいいいううええおかきく -- 1文字ずつ1列で表示grep -o . a.txt -- 1行で表示cat a.txt | xargs | tr -d ' ' -- 列は維持して行方向に逆順表示tac a.txt -- 行は維持して列方向に逆順表示rev a.txt Debian (11) vi a.txtあああい…

回文検出ワンライナー

while read n; do m=""; for i in $(seq ${#n} -1 0); do m=$m${n:$i:1}; done ; [ "$m" == "$n" ] && echo $m; done < kaibun.txt

shellcheck

OS

Ubuntu (20)vi a.sh!#/bin/bash echo {$1} ${2} "${3}" if [ ${4} -eq "" ] ; then echo AAAfi sudo apt install shellcheckshellcheck -Vshellcheck a.sh -- bash -n a.sh Debian (10)vi a.sh!#/bin/bash echo {$1} ${2} "${3}" if [ ${4} -eq "" ] ; then …

遅延制約

DB

MySQL (8.0.26) 調べた限りない模様 Oracle (19c) drop table tab1 purge;create table tab1(col1 int primary key,col2 int); insert into tab1 values(1,1);insert into tab1 values(1,1); select * from tab1; --drop table tab2 purge;create table tab2…