2023-10-01から1ヶ月間の記事一覧

CLONE

DB

MySQL (8.0.34)https://gihyo.jp/dev/serial/01/mysql-road-construction-news/0127https://dev.mysql.com/doc/refman/8.0/ja/clone-plugin-installation.html -- 1. CLONE plugin をインストール show plugins;INSTALL PLUGIN clone SONAME 'mysql_clone.so…

{GCP Cloud Composer}Google Cloud でデータ分析 DAG を実行する

GCP

https://cloud.google.com/composer/docs/composer-2/run-data-analytics-dag-googlecloud?hl=ja Airflow バージョン: 2.6.3Composer バージョン: 2.4.6 -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud projects create project01-99999…

{Azure Data Factory}マネージド エアフローを使用して既存のパイプラインを実行する

https://www.youtube.com/watch?v=pGZ5v7OMqhMhttps://learn.microsoft.com/ja-jp/cli/azure/datafactory?view=azure-cli-latesthttps://learn.microsoft.com/ja-jp/azure/data-factory/tutorial-run-existing-pipeline-with-airflowhttps://learn.microsoft…

{MWAA}Quick start tutorial for Amazon Managed Workflows for Apache Airflow

AWS

https://docs.aws.amazon.com/mwaa/latest/userguide/quick-start.htmlhttps://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-mwaa-environment.htmlhttps://docs.aws.amazon.com/cli/latest/reference/mwaa/https://bunsugi.com/mw…

{GCP Cloud Composer}Cloud Composer 2 で Apache Airflow DAG を実行する

GCP

https://cloud.google.com/sdk/gcloud/reference/composerhttps://laboratory.kiyono-co.jp/630/gcp/https://qiita.com/nokoxxx1212/items/77131e2a730a550f0b09https://cloud.google.com/composer/docs/composer-2/run-apache-airflow-dag?hl=ja Airflow バ…

Airflow

Ubuntu (20) https://qiita.com/Shmwa2/items/425c9be4e3a3a07db81ehttps://qiita.com/yuuman/items/a449bbe36710ad837df7https://qiita.com/hankehly/items/1f02a34740276d1b8f0fhttps://airflow.apache.org/docs/apache-airflow/stable/start.htmlhttps://…

{Terraform} for ExpressionでLoop

参考文献: Terraform Up & Running (Yevgeniy Brikman著)https://itnext.io/terraform-count-for-each-and-for-loops-1018526c2047 cat <<-'EOF' > variables.tfvariable "list01" { description = "list01" type = list(string) default = [ "user01", "use…

{Terraform} for_eachでLoop

[1] リソースのループ[2] モジュールのループ [1] リソースのループ cat <<-'EOF' > main.tfprovider "aws" { region = "ap-northeast-1"} resource "aws_iam_user" "users01" { for_each = toset(var.user_names) name = each.value}EOF cat <<-'EOF' > var…

{Terraform} countでLoop

countの制限①リソース内のインラインブロックで使用できない②配列要素の変更に未対応 cat <<-'EOF' > main.tfprovider "aws" { region = "ap-northeast-1"} resource "aws_iam_user" "users01" { count = length(var.user_names) name = var.user_names[coun…

{Terraform} モジュールサンプル(RDS/EC2/ALB)

S3dynanodbRDSEC2ALB 参考文献: Terraform Up & Running (Yevgeniy Brikman著) 2-4章 要件:・tfstateファイルはS3に格納・環境はdev/prodの2つで、環境ごとにディレクトリを分ける・terraform_remote_stateでDB情報をEC2構築時に取得・devとprodで共通する処…

システム変数永続化

DB

MySQL (8.0.33)https://gihyo.jp/dev/serial/01/mysql-road-construction-news/0094https://dev.mysql.com/doc/refman/8.0/ja/option-files.html 「mysqld-auto.cnf」が「my.cnf」よりも優先 (1) my.cnf Default options are read from the following files …

{Terraform} ALB/AWS

前提: Terraform、AWS CLIインストール済 -- 1. tfファイル作成 vim main.tf provider "aws" { region = "ap-northeast-1"} variable "server_port" { description = "The port the server will use for HTTP requests" type = number} data "aws_vpc" "vpc0…

OSバージョンアップ

OS

Ubuntu (20) -> (22) https://tech.uzabase.com/entry/2022/10/05/163458 cat /etc/os-release sudo do-release-upgrade -c sudo apt update sudo apt upgrade sudo apt dist-upgrade sudo apt autoremove -y sudo apt autoclean -y sudo reboot コンソール…

メモリ状況確認

DB

MySQL (8.0.33) https://gihyo.jp/article/2022/10/mysql-rcn0183https://dev.mysql.com/doc/refman/8.0/ja/performance-schema-statement-tables.html SELECT *FROM performance_schema.setup_consumersWHERE NAME LIKE '%statements%'; UPDATE performance…

{Java}UTF8ファイルのBase64エンコード

https://www.zunouissiki.com/java-base64-encode-decode/#i-4 notepad a.java import java.io.*;import java.nio.file.*; import java.io.IOException;import java.nio.charset.Charset;import java.nio.file.Files;import java.nio.file.Paths;import java…

{Java}JSONファイル読込

https://style.potepan.com/articles/27407.htmlhttps://qiita.com/penguinshunya/items/353bb1c555f337b0cf6dhttps://qiita.com/komiya_atsushi/items/c978e85c2065f57cea38 notepad User.java public class User { public String firstName; public String…

{Python}JSONファイル読込

import json with open('a.json', 'w', encoding='utf-8', newline='') as f: f.write('[\n') f.write(' {\n') f.write(' "instanceid": "i-22222222222222222",\n') f.write(' "Tags": "work2"\n') f.write(' },\n') f.write(' {\n') f.write(' "instanceid…

VBA(UTF8ファイルのBase64エンコード)

VBA

https://www.ka-net.org/blog/?p=4479https://vbabeginner.net/convert-shift-jis-files-to-utf-8-without-bom/ -- 1. 開発タブの挿入でボタンを作成※ActiveXコントロールのものを使用する -- 2. デザインモードONで作成したボタンをダブルクリックするとエ…

{Python}UTF8ファイルのBase64エンコード

https://pythonmaniac.com/file-rw-newline-code/#index_id3 import base64 with open('test2.txt', 'w', encoding='utf-8', newline='') as f: f.write('テストファイルです1\r\n') f.write('テストファイルです2\r\n') with open('test2.txt', "r", encodi…