2021-12-01から1ヶ月間の記事一覧

{VPC}共有 VPC の操作

AWS

https://docs.aws.amazon.com/ja_jp/vpc/latest/userguide/vpc-sharing.htmlhttps://dev.classmethod.jp/articles/reinvent-2018-ram-vpc-share/ AWS Organizations サブネットが共有されると、参加者は共有しているサブネット内にある自分のアプリケーショ…

SQLチューニング(ORのUNION変換)

DB

まとめデータに依存すると思われるが、ORをUNION-ALLに変換することで速くなった。Oracleは何もしなくてもUNION-ALLに変換された。 MySQL (8.0.26) drop table tab1;create table tab1( col1 bigint ,col2 bigint ,col3 bigint ,col4 bigint ); drop table t…

{VPC}例: AWS CLI を使用して IPv6 VPC とサブネットを作成

AWS

https://docs.aws.amazon.com/ja_jp/vpc/latest/userguide/vpc-subnets-commands-example-ipv6.html -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2…

シェルで時刻を扱う

OS

Ubuntu (20) 時刻=>UNIX時刻 date -d '2021/12/31 11:22:33' "+%s" UNIX時刻=>時刻 date -d @1640949753 "+%Y/%m/%d %H:%M:%S" 時刻書式変更 date -d '2021/12/31 11:22:33' "+%Y %m %d %H %M %S"date -d '2021-12-31 11:22:33' "+%Y %m %d %H %M %S"date -d…

{EC2}Linux インスタンス用 EC2 シリアルコンソール

AWS

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ec2-serial-console.html インスタンスごとにサポートされるアクティブなシリアルコンソール接続は 1 つだけです。シリアルコンソール接続は、通常、終了しない限り 1 時間続きます。シリアルコ…

{EC2}Amazon EC2 での Amazon EFS の使用

AWS

https://docs.aws.amazon.com/ja_jp/efs/latest/ug/wt1-getting-started.htmlhttps://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/AmazonEFS.htmlhttps://dev.classmethod.jp/articles/ec2-efs-mount-for-beginner/https://qiita.com/satton6987/ite…

{EC2}Amazon EBS スナップショットの共有

AWS

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ebs-modifying-snapshot-permissions.html Snapshots are constrained to the Region in which they were created.デフォルトの AWS マネージドキー で暗号化されたスナップショットを共有するこ…

データのみインポートと定義含めてインポートの比較

DB

MySQLmysqldumpの場合、最初にcreate tableするタイミングでcreate indexも出力。そのためデータのみインポートと定義含めてインポートの差はない Oracle定義含めてインポートの場合、ダイレクトパスロードとなるので速い PostgreSQL定義含めてインポートの…

{EC2}プライベートキーを紛失した場合の Linux インスタンスへの接続

AWS

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/replacing-lost-key-pair.html -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"un…

クエリリライト

DB

MySQLとPostgreSQLはリライトされないOracleとSQL Serverは基本的パターンは動作確認できた ※ただし、Oracleはマテビュー定義のテーブル結合方式にANSI準拠を使用できない。 MySQL (8.0.27) マテビューのクエリリライトはサポートしていない模様念のため確認…

Open usp Tukubaiインストール

OS

Ubuntu (20)https://smashingtheory.blogspot.com/2016/09/ubuntu-installing-open-usp-ttsukubai.html wget --no-check-certificate https://github.com/usp-engineers-community/Open-usp-Tukubai/archive/master.zipsudo apt install unzipunzip master.z…

SQLチューニング(結合は件数を絞り込んでから)

DB

データに依存すると思われるが、今回試したテストケースでは、 SQL Serverは何もしなくてもいい感じの実行計画となった。Oracleは件数を絞りこまないデフォルトのほうが速かった。 MySQLとPostgreSQLはSQLをいじったほうが速くなった。 MySQL (8.0.27) drop …

高速リフレッシュのデータ取得元テーブルへの影響確認

DB

2テーブル結合の集計マテビューで確認マテビューで参照されている場合と参照されていない場合でinsert10万件の時間を比較する 結論:高速リフレッシュが有効の場合、更新性能は大幅に劣化する MySQL (8.0.27) 前提:「マテビュー」記載手順でマテビュー環境構…

{EC2}Amazon EC2 の IAM ロール

AWS

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/iam-roles-for-amazon-ec2.html s3権限を付与したロールをEC2インスタンスにアタッチし、s3コマンドは実行できるが、ec2コマンドは実行できないことを確認する -- 1. コマンド等のインストール -…

{EC2}プレイスメントグループ

AWS

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/placement-groups.html クラスタープレイスメントグループパーティションプレイスメントグループスプレッドプレイスメントグループ ※クラスタープレイスメントグループではT3インスタンスタイプ…

{EC2}インスタンスメタデータとユーザーデータ

AWS

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ec2-instance-metadata.html インスタンスメタデータサービスバージョン 1 (IMDSv1) リクエスト/レスポンスメソッドインスタンスメタデータサービスバージョン 2 (IMDSv2) セッション志向メソッ…

{EC2}起動時に Linux インスタンスでコマンドを実行する

AWS

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/user-data.html 2 つのタイプのユーザーデータを Amazon EC2 に渡すことができます。 ・シェルスクリプト・cloud-init ディレクティブ デフォルトでは、ユーザーデータスクリプトと cloud-init …

{EC2}Amazon Linux 2 のカーネルライブパッチ

AWS

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/al2-live-patching.htmlhttps://dev.classmethod.jp/articles/kernel-live-patching-for-amazon-linux-2-general-availability/ Amazon Linux 2 のカーネルライブパッチを使用すると、実行中のア…

{EC2}Amazon Linux 2 を仮想マシンとしたオンプレミスでの実行

AWS

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/amazon-linux-2-virtual-machine.html iso作成作業OS: CentOS7仮想マシン作成先: VirtualBox 6.1 ※VMWare ESXi6.7 はエラー発生 -- 1. genisoimageのインストール yum -y install wgetwget http…

deterministic指定による効果確認

DB

データに依存するが、Oracleではdeterministic指定の効果を確認できた。MySQLとPostgreSQLでは効果を確認できなかった。 MySQL (8.0.27) -- 1. テストデータ作成drop table tab1;create table tab1( col1 int primary key ,col2 varchar(100) ,col3 varchar(…

インポート時のインデックス影響

DB

MySQL (8.0.27) -- 1. テストデータ作成 drop table tab1;create table tab1( col1 int primary key ,col2 bigint ,col3 datetime ,col4 varchar(100) ,col5 char(100) ); drop procedure proc1; delimiter //create procedure proc1(in x int)begin declare…

エクスポートインポート方法の速度比較

DB

MySQL (8.0.27) 方法1 : mysqldump => mysql(バルクインサート)方法2 : csv出力 => load data infile文 結果:方法1 : 18秒+5分53秒=6分11秒方法2 : 16秒+5分18秒=5分34秒 バルクインサートとload data で大差なし -- 1. テストデータ作成 drop table tab1;cr…

{EC2}スポットインスタンスリクエスト

AWS

リクエストタイプが永続リクエストの場合、スポットインスタンスの中断後、リクエストが再度開かれますインスタンスを停止できます リクエストタイプがワンタイムリクエストの場合、スポットインスタンスの中断後、リクエストが終了ですインスタンスを停止で…

{EC2}Amazon Data Lifecycle Manager

AWS

Data Lifecycle Managerの対象・EBSスナップショットの作成、保持、削除・AMIの作成、保持、削除・クロスアカウントのスナップショットコピー AMIライフサイクルポリシーの動作を確認 -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール…

インクリメンタル統計

DB

MySQL (8.0.27) インクリメンタル統計はない模様 Oracle (19c) select dbms_stats.get_prefs('INCREMENTAL',NULL,NULL) from dual;select dbms_stats.get_prefs('PUBLISH',NULL,NULL) from dual;select dbms_stats.get_prefs('ESTIMATE_PERCENT',NULL,NULL) …

ブロックチェックパラメータ

DB

MySQL (8.0.27) https://dev.mysql.com/doc/refman/8.0/ja/innodb-parameters.html#sysvar_innodb_checksum_algorithm select @@innodb_checksum_algorithm; ・innodb_checksum_algorithm ・・none ・・innodb ・・crc32デフォルト ・・strict_none ・・stri…

絵文字の表示

OS

Ubuntu (20) https://qiita.com/TsutomuNakamura/items/f48b9ed690cfc008acd2 -- fontのインストールmkdir -p ~/.local/share/fontscd ~/.local/share/fontswget https://raw.githubusercontent.com/googlei18n/noto-emoji/master/fonts/NotoColorEmoji.ttff…

シェルで基数変換

OS

Ubuntu (20)https://www.mazn.net/blog/2013/02/24/854.html 10進数=>2進数bc <<< "obase=2;ibase=10;9999" 2進数=>10進数bc <<< "obase=10;ibase=2;10011100001111"echo $((2#10011100001111)) 10進数=>8進数bc <<< "obase=8;ibase=10;9999"printf '%o\n' 9…

{EC2}AMI ライフサイクル

AWS

Amazon EBS-Backed AMI の登録を解除しても、AMI 作成プロセス中にインスタンスのボリューム 用に作成したスナップショットのストレージは引き続き課金されます。そのため、使用が終わったスナップショットは削除することをお勧めします。 -- 1. コマンド等…

{CloudFormation}StackSets

AWS

https://dev.classmethod.jp/articles/introducing-cloudformation-stacksets/ AWS CloudFormation StackSets は、複数のアカウントおよびリージョンのスタックを 1 度のオペレーションで、作成、更新、削除できるようにすることで、スタックの機能を拡張し…