GCP

{GCP Cloud SQL}Cloud SQL Auth Proxy を使用して接続する

GCP

https://cloud.google.com/sql/docs/mysql/connect-auth-proxy?hl=ja#macos-64-bit Cloud SQL インスタンスへの接続には、Cloud SQL Auth Proxy を使用することをおすすめします。Cloud SQL Auth Proxy は、次のことを行います。 パブリック IP エンドポイン…

{VPN}Site-to-Site VPN(GCP <-> OCI)

https://docs.oracle.com/ja-jp/iaas/Content/Network/Tasks/vpn_to_gcp.htm 前提: 基礎ネットワークとEC2インスタンスはTerraformで作成その他はCLIで作成 macから実施 GCP側のASN: 64513OCI側のASN: 31898 ※OCI側のASNは固定値31898を使用する必要あり IPS…

{GCP Cloud Composer} Airflow データベースにアクセスする

GCP

https://cloud.google.com/composer/docs/composer-2/access-airflow-database?hl=ja#public-iphttps://cloud.google.com/composer/docs/composer-2/write-dags?hl=jahttps://qiita.com/notrogue/items/3b3f1de879dd77dae359 Airflow バージョン: 2.6.3Compo…

{GCP GKE} Deploy CockroachDB in a Single Kubernetes Cluster

GCP

https://www.cockroachlabs.com/docs/v23.1/deploy-cockroachdb-with-kubernetes-insecurehttps://future-architect.github.io/articles/20210318/https://cloud.google.com/kubernetes-engine/docs/how-to/creating-an-autopilot-cluster?hl=ja -- 1. 前作…

{GCP Cloud Composer}環境のスナップショットの保存と読み込み

GCP

https://cloud.google.com/composer/docs/composer-2/save-load-snapshots?hl=ja Airflow バージョン: 2.6.3Composer バージョン: 2.4.6 -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud projects create project01-9999999 \--name="pro…

{GCP BigQuery}テーブルデータのエクスポート (bqコマンドの場合)

GCP

https://cloud.google.com/bigquery/docs/exporting-data?hl=jahttps://cloud.google.com/bigquery/docs/loading-data-cloud-storage-csv?hl=ja -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud projects create project01-9999999 \--na…

{GCP Cloud SQL} SQL ダンプファイルを使用したエクスポートとインポート

GCP

https://cloud.google.com/sql/docs/mysql/import-export/import-export-sql?hl=ja SQL ダンプファイルや CSV ファイルをエクスポートする場合は、ファイル拡張子 .gz を使用してデータを圧縮します。ファイル拡張子 .gz のファイルは、インポートすると自動…

{GCP VPN}高スループット VPN の構築

GCP

https://www.cloudskillsboost.google/focuses/59362?locale=ja&parent=catalog -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud projects create project01-9999999 \--name="project01" gcloud config listgcloud config set project p…

{GCP Cloud Pub/Sub}サブスクリプションの概要

GCP

https://qiita.com/ekzemplaro/items/2c47beb962bee54b4609 https://cloud.google.com/pubsub/docs/subscription-overview?hl=ja pull サブスクリプション : サブスクライバー クライアントを使用して Pub/Sub サーバーにメッセージをリクエストします。push…

{GCP BigQuery}Procedural language

GCP

https://qiita.com/KENTAROSZK/items/2773ec4407b14f5a80ebhttps://cloud.google.com/bigquery/docs/reference/standard-sql/procedural-language -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud projects create project01-9999999 \--…

{GCP BigQuery}検索インデックスの管理

GCP

https://cloud.google.com/bigquery/docs/search-index?hl=jahttps://zenn.dev/cloud_ace/articles/d6be4751afaa81 検索インデックスは、大きなテーブルを想定して設計されています。10 GB 未満のテーブルに検索インデックスを作成した場合、インデックスは…

{GCP ASM} Google Kubernetes Engine に Anthos Service Mesh をインストールする

GCP

https://www.cloudskillsboost.google/focuses/8459?locale=ja&parent=catalog mac(Monterey 12.7)では、asmcli実行時「Segmentation fault: 11」エラーとなるのでUbuntu 22.04で実施 -- 1. 前作業 curl -O https://dl.google.com/dl/cloudsdk/channels/rapi…

{GCP Cloud Composer}Google Cloud でデータ分析 DAG を実行する

GCP

https://cloud.google.com/composer/docs/composer-2/run-data-analytics-dag-googlecloud?hl=ja Airflow バージョン: 2.6.3Composer バージョン: 2.4.6 -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud projects create project01-99999…

{GCP Cloud Composer}Cloud Composer 2 で Apache Airflow DAG を実行する

GCP

https://cloud.google.com/sdk/gcloud/reference/composerhttps://laboratory.kiyono-co.jp/630/gcp/https://qiita.com/nokoxxx1212/items/77131e2a730a550f0b09https://cloud.google.com/composer/docs/composer-2/run-apache-airflow-dag?hl=ja Airflow バ…

{GCP}サービス アカウントとして認証する

GCP

https://cloud.google.com/docs/authentication/production?hl=ja#linux-or-macoshttps://blog.1q77.com/2020/01/gcloud-switch-account-and-project/https://cloud.google.com/docs/authentication/gcloud?hl=ja -- 1. 前作業 gcloud initgcloud auth list …

{GCP App Engine}新しいバージョンへのトラフィックの移行

GCP

https://cloud.google.com/appengine/docs/standard/migrating-traffic?hl=ja&tab=java#gcloudhttps://qiita.com/tsunet111/items/5ffcdbddf1feeebac4dahttps://dev.classmethod.jp/articles/gae-webapp/ スタンダード環境とフレキシブル環境がある。 通常は…

{GCP Dataproc}Cloud Storage コネクタと Apache Spark の併用

GCP

https://cloud.google.com/dataproc/docs/tutorials/gcs-connector-spark-tutorial?hl=ja#python -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud projects create project01-9999999 \--name="project01" gcloud config listgcloud conf…

{GCP Cloud Run}システム パッケージのチュートリアルを使用する

GCP

https://cloud.google.com/run/docs/tutorials/system-packages?hl=ja -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud projects create project01-9999999 \--name="project01" gcloud config listgcloud config set project project01-…

{GCP Compute Engine}VM の誤削除の防止

GCP

https://cloud.google.com/compute/docs/instances/preventing-accidental-vm-deletion?hl=ja#gcloud -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud projects create project01-9999999 \--name="project01" gcloud config listgcloud …

{GCP Eventarc}Cloud Audit Logs を使用してイベントを受信する(gcloud CLI)

GCP

https://cloud.google.com/eventarc/docs/run/create-trigger-cloud-audit-logs-gcloud?hl=ja -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud projects create project01-9999999 \--name="project01" gcloud config listgcloud config …

{GCP BigQuery}行レベルのセキュリティを使用する

GCP

https://cloud.google.com/bigquery/docs/managing-row-level-security?hl=jahttps://cloud.google.com/bigquery/docs/using-row-level-security-with-features?hl=ja#the_true_filter -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud pr…

{GCP BigQuery}クエリのスケジューリング

GCP

https://cloud.google.com/bigquery/docs/scheduling-queries?hl=ja -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud projects create project01-9999999 \--name="project01" gcloud config listgcloud config set project project01-99…

{GCP BigQuery}タイムトラベルを使用した履歴データへのアクセス

GCP

https://cloud.google.com/bigquery/docs/time-travel?hl=ja https://qiita.com/zaburo/items/6929bea1f094c8c6a4fc BigQuery では、タイムトラベルを使用して、BigQuery で変更または削除されたデータにアクセスできます。デフォルトでは、過去 7 日間のタ…

{GCP BigQuery}ワイルドカード テーブルを使用した複数テーブルに対するクエリ

GCP

https://cloud.google.com/bigquery/docs/querying-wildcard-tables?hl=ja ワイルドカード テーブルは、ワイルドカード式に一致するすべてのテーブルが結合されたものを表します。 -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud projec…

{GCP BigQuery}パラメータ化されたクエリの実行

GCP

https://cloud.google.com/bigquery/docs/parameterized-queries?hl=ja -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud projects create project01-9999999 \--name="project01" gcloud config listgcloud config set project project01…

{GCP BigQuery}キャッシュに保存されているクエリ結果を使用する

GCP

https://cloud.google.com/bigquery/docs/cached-results?hl=ja インタラクティブ クエリとバッチクエリの両方を含むすべてのクエリの結果は、一部の例外を除いて、一時テーブルに約 24 時間キャッシュされます。 同じクエリを重複して実行すると、BigQuery …

{GCP BigQuery}ルーティンを管理する

GCP

https://cloud.google.com/bigquery/docs/routines?hl=ja BigQuery では、ルーティンは以下の対象を含むリソースタイプです。 リモート関数を含むユーザー定義関数(UDF)テーブル関数ストアド プロシージャ -- 1. 前作業 gcloud initgcloud auth list gclou…

{GCP BigQuery}マテリアライズド ビューの作成

GCP

https://cloud.google.com/bigquery/docs/materialized-views-create?hl=ja ベーステーブルが変更されると、バックグラウンドでマテリアライズド ビューが再計算されます。 BigQuery は、事前に計算されたマテリアライズド ビューの結果を利用し、可能な場合…

{GCP BigQuery}ビューの作成

GCP

https://cloud.google.com/bigquery/docs/views?hl=ja -- 1. 前作業 gcloud initgcloud auth list gcloud --version gcloud projects create project01-9999999 \--name="project01" gcloud config listgcloud config set project project01-9999999gcloud c…

{GCP BigQuery}テーブルデータのエクスポート

GCP

https://cloud.google.com/bigquery/docs/exporting-data?hl=jahttps://cloud.google.com/bigquery/docs/loading-data-cloud-storage-csv?hl=ja 可能なエクスポート先は Cloud Storage だけです 1 つのファイルに最大 1 GB のテーブルデータをエクスポートで…