2022-08-01から1ヶ月間の記事一覧

{ECS}Amazon ECS Anywhere

AWS

https://dev.classmethod.jp/articles/try-amazon-ecs-anywhere/https://aws.amazon.com/jp/blogs/news/building-an-amazon-ecs-anywhere-home-lab-with-amazon-vpc-network-connectivity/https://docs.aws.amazon.com/AmazonECS/latest/developerguide/iam-…

{ECS}チュートリアル: AWS CLI を使用して Fargate Linux タスクでクラスターの作成

AWS

https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide/ECS_AWSCLI_Fargate.html タスク定義とは、1 つにグループ化されたコンテナのリストです 前提:デフォルトセキュリティグループに下記ルール追加済み HTTP 0.0.0.0/0HTTPS 0.0.0.0/0 -- 1…

サイレント接続

DB

MySQL (8.0.29) drop table tab1;create table tab1(col1 int,col2 varchar(30) );insert into tab1 values(1234567890,'1234567890');insert into tab1 values(1234567890,'1234567890'); select * from tab1; mysql --silent --skip-column-names test -e …

{Lightsail}Amazon Lightsail を使用してLinux 仮想マシンを起動する

AWS

https://aws.amazon.com/jp/getting-started/hands-on/launch-a-virtual-machine/https://qiita.com/tmiki/items/cfdf5970204ff877cd57 -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール curl "https://awscli.amazonaws.com/awscli-e…

ヌルのインデックス

DB

Oracleはヌルデータのインデックスは作成されない。is not nullでインデックスが使用される場合がある。MySQL、PostgreSQL、SQL Serverはヌルデータもインデックスは作成され、使用される MySQL (8.0.29)https://qiita.com/omukaik/items/6c9d3018c6ab8fbef7…

{Batch}より少ないコストで大規模なバッチジョブを実行する

AWS

https://aws.amazon.com/jp/getting-started/hands-on/run-batch-jobs-at-scale-with-ec2-spot/https://zenn.dev/takamin55/articles/a44ba888ebca3a -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール curl "https://awscli.amazonaws…

{Step Functions}サーバーレスアプリケーションでエラーに対処する

AWS

https://dev.classmethod.jp/articles/lets-start-aws-step-functions-from-10min-tutorial/https://aws.amazon.com/jp/getting-started/hands-on/handle-serverless-application-errors-step-functions-lambda/ -- 1. コマンド等のインストール -- 1.1 aws …

{ECR}AWS CLI での Amazon ECR の使用

AWS

https://docs.aws.amazon.com/ja_jp/AmazonECR/latest/userguide/getting-started-cli.html https://study-infra.com/ecr-begginer/ -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール curl "https://awscli.amazonaws.com/awscli-exe-…

パーティションインデックスのパーティションレベル削除

DB

MySQL (8.0.29) パーティションレベル削除不可(構文がない模様) Oracle (19c) drop table tab1 purge; create table tab1( col1 int primary key, col2 int, col3 int, col4 int) partition by range (col2) ( partition p1 values less than (0) , partitio…

{AppFlow}Tutorial: Transfer data between applications with Amazon AppFlow

AWS

https://docs.aws.amazon.com/ja_jp/appflow/latest/userguide/flow-tutorial.html S3 -> AppFlow -> S3 -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awsc…

{OpenSearch}Amazon OpenSearch Service の開始方法

AWS

https://docs.aws.amazon.com/ja_jp/opensearch-service/latest/developerguide/gsg.htmlhttps://dev.classmethod.jp/articles/getting-started-amazon-opensearch-service/ -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール curl "ht…

{MSK}Amazon MSK の使用を開始します

AWS

https://docs.aws.amazon.com/ja_jp/msk/latest/developerguide/getting-started.html フルマネージド型で高可用性の安全な Apache Kafka サービス -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール curl "https://awscli.amazonaws.c…

{EMR}チュートリアル: Amazon EMR の開始方法

AWS

https://docs.aws.amazon.com/ja_jp/emr/latest/ManagementGuide/emr-gs.htmlhttps://blog.serverworks.co.jp/amazonemr-tutorial -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インストール curl "https://awscli.amazonaws.com/awscli-exe-li…

プロシージャのIN/OUTパラメータ

DB

MySQL (8.0.29) drop procedure proc1; delimiter //create procedure proc1( in param1 numeric,inout param2 numeric,out param3 numeric)begin set param2 = param2 * param2; set param3 = param1 * 100;end//delimiter ; set @i = 10;set @j = 20;call …

スワップ領域追加

OS

Ubuntu (22)https://qiita.com/sand_bash/items/30cb42ed53946e6eefa5 free -mswapon -s dd if=/dev/zero of=/swapfile bs=1M count=1024chmod 600 /swapfilemkswap /swapfileswapon /swapfile free -mswapon -s swapoff /swapfilerm -rf /swapfile free -ms…

code obfuscation

DB

MySQL (8.0.29)調べた限りなし Oracle (19c) https://docs.oracle.com/cd/F19136_01/lnpls/plsql-source-text-wrapping.html#GUID-AB6FFBAD-DE20-4197-A885-AF81F3766FA2https://www.shift-the-oracle.com/utility/wrap.html WRAP ユーティリティ vi proc1.s…

大量更新中のダンプ時間

DB

大量データ更新後、コミット前の状態でテーブルダンプを実行処理時間を通常時比較 1.5~3倍の時間となる MySQL (8.0.29) -- 1. テストデータ作成 drop table tab1;create table tab1( col1 int primary key ,col2 bigint ,col3 datetime ,col4 varchar(100) …

{VPN}Site-to-Site VPN(AWS <-> VyOS)

AWS

https://qiita.com/sugimount-a/items/2f2e8d27ade90bb3b554https://blog.serverworks.co.jp/tech/2020/03/03/post-71975/https://www.yamamanx.com/vyo-aws-ohioregion/https://dev.classmethod.jp/articles/vyos-aws-vpn-static-routing/https://dev.class…

プルーニング条件の推移律

DB

内部結合した別テーブルに指定された条件を推移的に使用してインデックスアクセス時にパーティションプルーニングできるか確認 → いずれのDBも有効 MySQL (8.0.29) drop table tab1;create table tab1( col1 bigint ,col2 bigint ,col3 bigint) partition by…

{DynamoDB}DynamoDB data import from Amazon S3: how it works

AWS

https://dev.classmethod.jp/articles/amazon-dynamodb-import-amazon-s3-data-into-a-new-table/https://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/developerguide/S3DataImport.HowItWorks.html During the Amazon S3 import process, DynamoDB cr…

外部結合→内部結合の自動変換

DB

いずれのDBも内部結合への自動変換をサポートしている模様 MySQL (8.0.29) drop table tab1;create table tab1( col1 bigint primary key ,col2 bigint ); drop table tab2;create table tab2( col1 bigint primary key ,col2 bigint ); drop procedure proc…

{VPN}Site-to-Site VPN(複数VPC)

https://aws.amazon.com/jp/blogs/news/aws-hands-on-for-beginners-16/ 前提: AWS側の作業OS: CentOS7(オンプレ)GCP側の作業OS: CentOS7(オンプレ)AWS側の作業ユーザ: testuserGCP側の作業ユーザ: testuser AWS側のASN: 64512GCP側のASN: 64513 IPSec tunne…

IN句上限

DB

MySQL (8.0.29)調べた限り上限はない模様実際には100万件程度が上限の模様 前提:CPU2コア、メモリ4Gtab1の件数=1 vim /etc/my.cnf max_allowed_packet = 1Ginnodb_buffer_pool_size = 2G : > a.sql echo "select 1 from tab1" >> a.sqlecho "where col1 in …

ブロック破損再現

DB

MySQL (8.0.29) drop table tab1; create table tab1( col1 numeric not null primary key, col2 char(255)); drop procedure proc1; delimiter //create procedure proc1(in x int)begin declare i int; set i = 1; start transaction; while i <= x do ins…

{Organizations}組織の作成と設定

AWS

https://docs.aws.amazon.com/ja_jp/organizations/latest/userguide/orgs_tutorials_basic.htmlhttps://dev.classmethod.jp/articles/close-aws-member-accounts-with-closeaccount-api/ -- 1. コマンド等のインストール -- 1.1 aws cli version 2 インスト…

リアルタイム表示ツール

DB

MySQL (8.0.29) https://ja.getdocs.org/how-to-use-mytop-to-monitor-mysql-performance mytop yum install epel-release -y yum install mytop -y vim /root/.mytop host=localhostdb=testdelay=5port=3306socket=batchmode=0color=1idle=1 ※下記エラー回…

{VPC}VPC ピア接続を操作する

AWS

https://docs.aws.amazon.com/ja_jp/vpc/latest/peering/working-with-vpc-peering.htmlhttps://docs.aws.amazon.com/ja_jp/Route53/latest/DeveloperGuide/hosted-zones-private.htmlhttps://dev.classmethod.jp/articles/the-same-aws-account-other-vpc-r…

SQL文の最大長

DB

MySQL (8.0.29) max_allowed_packet show variables like 'max_allowed_packet'; デフォルト = 67108864 = 64MB 最大値 = 1073741824 = 1GB Oracle (19c)https://docs.oracle.com/cd/F19136_01/refrn/database-limits.html#GUID-ED26F826-DB40-433F-9C2C-8C6…

SQLチューニング(パーティションワイズ集約)

DB

hashパーティションパーティション数=101000万件のテーブルを作成個別キー数 = 100件でグループ化 MySQL (8.0.29) drop table tab1;create table tab1( col1 int,col2 int)partition by hash(col1)(partition p00, partition p01, partition p02, partition …

Kubernetesで各種DBを作成する

DB

MySQL (8.0.23)https://qiita.com/kazuki43zoo/items/7d6771f9d81a2dfd3755https://qiita.com/witchy/items/3a39b674097b86a44546 Ubuntu20にインストールしたkindで作業 -- 1. クラスタ作成 vim cluster.yml apiVersion: kind.x-k8s.io/v1alpha4kind: Clust…