Digdag


https://docs.digdag.io/getting_started.html
https://docs.digdag.io/command_reference.html

https://qiita.com/shothym/items/cd5700654c01cf0bfd20
https://techblog.zozo.com/entry/digdag-dynamic-workflow-starter

(22)

-- 1. Java 8インストール

sudo apt install -y openjdk-8-jdk
java -version


-- 2. Digdagインストール

curl -o ~/bin/digdag --create-dirs -L "https://dl.digdag.io/digdag-latest"
chmod +x ~/bin/digdag
echo 'export PATH="$HOME/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc


-- 3. 動作確認(ローカルモード)
※ ローカルモードの場合、スケジューラを起動したらスケジュール実行可能となる


digdag init test

cd test

cat test.dig

digdag check

mv test.dig wf01.dig
cp wf01.dig wf02.dig

digdag check
digdag run wf01.dig
digdag check

vi a.sh

#!/bin/bash
date >> /home/testuser/test/a.log

chmod +x a.sh
./a.sh

 

vi wf02.dig

timezone: UTC
schedule:
  minutes_interval>: 1
+step1:
  sh>: /home/testuser/test/a.sh


tail -F a.log

digdag check

digdag scheduler


digdag check


-- 4. 動作確認(サーバーモード)
※ サーバーモードの場合、プロジェクトをpushしたらスケジュール実行可能となる

digdag server --memory

digdag version

digdag projects
digdag push prj01
digdag projects

digdag workflows prj01


digdag sessions
digdag start prj01 wf01 --session now

digdag schedules
digdag attempts


digdag projects
digdag workflows prj01
digdag sessions
digdag schedules
digdag attempts

 

(11)

 

-- 1. Java 11 インストール

apt update
apt install -y default-jre default-jdk


java -version
javac -version

 


-- 2. Digdagインストール
apt install -y curl

curl -o ~/bin/digdag --create-dirs -L "https://dl.digdag.io/digdag-latest"
chmod +x ~/bin/digdag
echo 'export PATH="$HOME/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc


-- 3. 動作確認(ローカルモード)
※ ローカルモードの場合、スケジューラを起動したらスケジュール実行可能となる


digdag init test

cd test

cat test.dig

digdag check

mv test.dig wf01.dig
cp wf01.dig wf02.dig

digdag check
digdag run wf01.dig
digdag check

vi a.sh

#!/bin/bash
date >> /root/test/a.log

chmod +x a.sh

 

vi wf02.dig

timezone: UTC
schedule:
  minutes_interval>: 1
+step1:
  sh>: /root/test/a.sh


tail -F a.log

digdag check

digdag scheduler


digdag check


-- 4. 動作確認(サーバーモード)
※ サーバーモードの場合、プロジェクトをpushしたらスケジュール実行可能となる

digdag server --memory

digdag version

digdag projects
digdag push prj01
digdag projects

digdag workflows prj01


digdag sessions
digdag start prj01 wf01 --session now

digdag schedules
digdag attempts


digdag projects
digdag workflows prj01
digdag sessions
digdag schedules
digdag attempts

(RL9)

-- 1. Java 8インストール

dnf install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

java -version


-- 2. Digdagインストール

curl -o ~/bin/digdag --create-dirs -L "https://dl.digdag.io/digdag-latest"
chmod +x ~/bin/digdag
echo 'export PATH="$HOME/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc


-- 3. 動作確認(ローカルモード)
※ ローカルモードの場合、スケジューラを起動したらスケジュール実行可能となる


digdag init test

cd test

cat test.dig

digdag check

mv test.dig wf01.dig
cp wf01.dig wf02.dig

digdag check
digdag run wf01.dig
digdag check

vi a.sh

#!/bin/bash
date >> /root/test/a.log

chmod +x a.sh

 

vi wf02.dig

timezone: UTC
schedule:
  minutes_interval>: 1
+step1:
  sh>: /root/test/a.sh


tail -F a.log

digdag check

digdag scheduler


digdag check


-- 4. 動作確認(サーバーモード)
※ サーバーモードの場合、プロジェクトをpushしたらスケジュール実行可能となる

digdag server --memory

digdag version

digdag projects
digdag push prj01
digdag projects

digdag workflows prj01


digdag sessions
digdag start prj01 wf01 --session now

digdag schedules
digdag attempts


digdag projects
digdag workflows prj01
digdag sessions
digdag schedules
digdag attempts

 

(2022)

 

-- 1. Java 11 インストール

 

java -version
javac -version

 


-- 2. Digdagインストール

PowerShell -Command "& {[Net.ServicePointManager]::SecurityProtocol = [Net.SecurityProtocolType]::TLS12; mkdir -Force $env:USERPROFILE\bin; Invoke-WebRequest http://dl.digdag.io/digdag-latest.jar -OutFile $env:USERPROFILE\bin\digdag.bat}"


PATHに追加

%USERPROFILE%\bin

 


-- 3. 動作確認(ローカルモード)
※ ローカルモードの場合、スケジューラを起動したらスケジュール実行可能となる


digdag init test

cd test

type test.dig

digdag check

move test.dig wf01.dig
copy wf01.dig wf02.dig

digdag check
digdag run wf01.dig
digdag check


notepad wf02.dig

timezone: UTC
schedule:
  minutes_interval>: 1
+step1:
  echo>: ${session_time}

digdag check

digdag scheduler


digdag check


-- 4. 動作確認(サーバーモード)
※ サーバーモードの場合、プロジェクトをpushしたらスケジュール実行可能となる

digdag server --memory

http://localhost:65432


digdag version

digdag projects
digdag push prj01
digdag projects

digdag workflows prj01


digdag sessions
digdag start prj01 wf01 --session now

digdag schedules
digdag attempts


digdag projects
digdag workflows prj01
digdag sessions
digdag schedules
digdag attempts