クラスタ - HTN20190109の日記

Oracle

(12cR2)
CentOS7

mmm181: RAC node1
メモリ:8G
ディスク:50G

mmm182: RAC node2
メモリ:8G
ディスク:50G

mmm183: iSCSIターゲット(node3)
メモリ:2G
ディスク:16G + 40G

mmm181
eth0 192.168.137.181
eth1 192.168.70.181
vip 192.168.137.185
scan 192.168.137.184
mmm182
eth0 192.168.137.182
eth1 192.168.70.182
vip 192.168.137.186
mmm183
eth0 192.168.137.183

--1.OS設定[node1,node2で実施]

yum -y update
systemctl stop firewalld
systemctl disable firewalld
sed -i.bak "/SELINUX/s/enforcing/disabled/g" /etc/selinux/config

yum -y install \
binutils \
compat-libcap1 \
compat-libstdc++-33.i686 \
compat-libstdc++-33 \
glibc.i686 \
glibc \
glibc-devel.i686 \
glibc-devel \
ksh \
libaio.i686 \
libaio \
libaio-devel.i686 \
libaio-devel \
libgcc.i686 \
libgcc \
libstdc++.i686 \
libstdc++ \
libstdc++-devel.i686 \
libstdc++-devel \
libxcb.i686 \
libxcb \
libX11.i686 \
libX11 \
libXau.i686 \
libXau \
libXi.i686 \
libXi \
libXtst.i686 \
libXtst \
make \
net-tools \
nfs-utils \
smartmontools \
sysstat

yum install -y gcc-c++

vim /etc/sysctl.conf

kernel.sem = 250 32000 100 128
kernel.shmmni = 4096
fs.file-max = 6815744
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
fs.aio-max-nr = 1048576

sysctl -p

groupadd -g 54321 oinstall
groupadd -g 54322 dba
groupadd -g 54323 oper
groupadd -g 54324 backupdba
groupadd -g 54325 dgdba
groupadd -g 54326 kmdba
useradd -u 54321 -g oinstall -G dba,oper,backupdba,dgdba,kmdba oracle
echo oracle | passwd --stdin oracle

groupadd -g 1001 asmadmin
groupadd -g 1002 asmdba
useradd -u 54322 -g oinstall -G asmadmin,asmdba grid
echo grid | passwd --stdin grid

mkdir -p /u01/app/oracle
mkdir -p /u01/app/grid
mkdir -p /u01/app/12.2.0/grid
mkdir /u01/app/oraInventory
chown -R grid:oinstall /u01
chown oracle:oinstall /u01/app/oracle
chmod -R 775 /u01

vim /etc/pam.d/login
session required pam_limits.so

vim /etc/security/limits.conf

oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240
oracle hard stack 32768
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
grid soft stack 10240
grid hard stack 32768

vim /home/oracle/.bash_profile

export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=/u01/app/oracle/product/12.2.0/dbhome_1
export NLS_LANG=Japanese_Japan.AL32UTF8
export PATH=$PATH:$ORACLE_HOME/bin
umask 022

vim /home/grid/.bash_profile

export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/12.2.0/grid
export PATH=$PATH:$ORACLE_HOME/bin
umask 022

vim /etc/default/grub

GRUB_CMDLINE_LINUXの項目に設定追記(transparent_hugepage=never)します

grub2-mkconfig -o /boot/grub2/grub.cfg
reboot

cat /sys/kernel/mm/transparent_hugepage/enabled

vim /etc/hosts
192.168.137.184 scan.example.com scan
192.168.137.181 mmm181.example.com mmm181
192.168.137.185 mmm181-vip.example.com mmm181-vip
192.168.70.181 mmm181-priv.example.com mmm181-priv
192.168.137.182 mmm182.example.com mmm182
192.168.137.186 mmm182-vip.example.com mmm182-vip
192.168.70.182 mmm182-priv.example.com mmm182-priv
192.168.137.183 mmm183.example.com mmm183

--2.iSCSIターゲット設定[node3で実施]
yum -y update
systemctl stop firewalld
systemctl disable firewalld
sed -i.bak "/SELINUX/s/enforcing/disabled/g" /etc/selinux/config

fdisk /dev/sdb

yum -y install targetcli

vim /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.1994-05.com.redhat:mmm183

targetcli

/> ls
o- / ..................................................................... [...]
o- backstores .......................................................... [...]
| o- block .............................................. [Storage Objects: 1]
| | o- block0 ..................... [/dev/sdb1 (0 bytes) write-thru activated]
| | o- alua ............................................... [ALUA Groups: 1]
| | o- default_tg_pt_gp ................... [ALUA state: Active/optimized]
| o- fileio ............................................. [Storage Objects: 0]
| o- pscsi .............................................. [Storage Objects: 0]
| o- ramdisk ............................................ [Storage Objects: 0]
o- iscsi ........................................................ [Targets: 1]
| o- iqn.1994-05.com.redhat:mmm183 ................................. [TPGs: 1]
| o- tpg1 ........................................... [no-gen-acls, no-auth]
| o- acls ...................................................... [ACLs: 2]
| | o- iqn.1994-05.com.redhat:mmm181 .................... [Mapped LUNs: 1]
| | | o- mapped_lun0 ............................ [lun0 block/block0 (rw)]
| | o- iqn.1994-05.com.redhat:mmm182 .................... [Mapped LUNs: 1]
| | o- mapped_lun0 ............................ [lun0 block/block0 (rw)]
| o- luns ...................................................... [LUNs: 1]
| | o- lun0 ................ [block/block0 (/dev/sdb1) (default_tg_pt_gp)]
| o- portals ................................................ [Portals: 1]
| o- 192.168.137.183:3260 ......................................... [OK]
o- loopback ..................................................... [Targets: 0]

systemctl enable target
systemctl start target

--3.共有ディスク設定[node1,node2で実施]

yum install -y iscsi-initiator-utils

vim /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.1994-05.com.redhat:mmm181 ←node1の場合
InitiatorName=iqn.1994-05.com.redhat:mmm182 ←node2の場合

systemctl enable iscsi
systemctl enable iscsid

systemctl start iscsi
systemctl start iscsid

iscsiadm --mode discoverydb --type sendtargets --portal 192.168.137.183 --discover
iscsiadm --mode node --targetname iqn.1994-05.com.redhat:mmm183 --portal 192.168.137.183 --login
iscsiadm --mode session -P3

vim /etc/udev/rules.d/99-oracle-asmdevices.rules
ACTION=="add|change", KERNEL=="sdb*", GROUP:="asmadmin", OWNER:="grid", MODE:="0660"

reboot
ll /dev/sd*

--4.GIインストール[node1で実施]

--gridユーザで実行

mkdir -p /u01/app/12.2.0/grid
chown grid:oinstall /u01/app/12.2.0/grid
cd /u01/app/12.2.0/grid
unzip -q /tmp/linuxx64_12201_grid_home.zip

su root
export ORACLE_HOME=/u01/app/12.2.0/grid
/u01/app/12.2.0/grid/bin/asmcmd afd_label ASMDATA21 /dev/sdb --init
/u01/app/12.2.0/grid/bin/asmcmd afd_lslbl /dev/sdb

exit

LANG=C
/u01/app/12.2.0/grid/gridSetup.sh

/u01/app/gridにファイルがあると警告が出た場合、ファイルをすべて削除する
削除しないとインストールが失敗する

crsctl stat res -t

--5.Oracleソフトウェアインストール[node1で実施]

--oracleユーザで実行
unzip linuxx64_12201_database.zip
cd database

LNAG=C
./runInstaller

--6.DB構築[node1で実施]

export NLS_LANG=American_America.AL32UTF8
LANG=C
dbca

MySQL

NDB Cluster
https://dev.mysql.com/doc/refman/5.6/ja/mysql-cluster.html
https://thinkit.co.jp/story/2015/07/30/6247

mmm121 data1
mmm122 data2
mmm123 sql management

--18.2.2.2 RPM からの MySQL Cluster のインストール

--mariaDB削除(全ノードで実施)
yum remove -y mariadb-libs
rm -rf /var/lib/mysql/

--データノード
wget https://dev.mysql.com/get/Downloads/MySQL-Cluster-7.4/MySQL-Cluster-server-gpl-7.4.23-1.el7.x86_64.rpm

rpm -Uhv MySQL-Cluster-server-gpl-7.4.23-1.el7.x86_64.rpm

--SQLノード

wget https://dev.mysql.com/get/Downloads/MySQL-Cluster-7.4/MySQL-Cluster-server-gpl-7.4.23-1.el7.x86_64.rpm
wget https://dev.mysql.com/get/Downloads/MySQL-Cluster-7.4/MySQL-Cluster-client-gpl-7.4.23-1.el7.x86_64.rpm

rpm -Uhv MySQL-Cluster-server-gpl-7.4.23-1.el7.x86_64.rpm
rpm -Uhv MySQL-Cluster-client-gpl-7.4.23-1.el7.x86_64.rpm

--管理ノード
wget https://dev.mysql.com/get/Downloads/MySQL-Cluster-7.4/MySQL-Cluster-server-gpl-7.4.23-1.el7.x86_64.rpm
rpm -Uhv MySQL-Cluster-server-gpl-7.4.23-1.el7.x86_64.rpm

--パスワード確認(SQLノード)

cat /root/.mysql_secret

--18.2.4 MySQL Cluster の初期構成

--データノード
vim /etc/my.cnf

[mysqld]
# Options for mysqld process:
ndbcluster # run NDB storage engine

[mysql_cluster]
# Options for MySQL Cluster processes:
ndb-connectstring=192.168.137.123 # location of management server

chown mysql:mysql /etc/my.cnf
chmod 700 /etc/my.cnf

--SQLノード
vim /etc/my.cnf

[mysqld]
# Options for mysqld process:
ndbcluster # run NDB storage engine

[mysql_cluster]
# Options for MySQL Cluster processes:
ndb-connectstring=192.168.137.123 # location of management server

chown mysql:mysql /etc/my.cnf
chmod 770 /etc/my.cnf

--管理ノード

mkdir /var/lib/mysql-cluster
cd /var/lib/mysql-cluster
vim config.ini

[ndbd default]
# Options affecting ndbd processes on all data nodes:
NoOfReplicas=2 # Number of replicas
DataMemory=80M # How much memory to allocate for data storage
IndexMemory=18M # How much memory to allocate for index storage
# For DataMemory and IndexMemory, we have used the
# default values. Since the "world" database takes up
# only about 500KB, this should be more than enough for
# this example Cluster setup.

[tcp default]
# TCP/IP options:
portnumber=2202 # This the default; however, you can use any
# port that is free for all the hosts in the cluster
# Note: It is recommended that you do not specify the port
# number at all and simply allow the default value to be used
# instead

[ndb_mgmd]
# Management process options:
hostname=192.168.137.123 # Hostname or IP address of MGM node
datadir=/var/lib/mysql-cluster # Directory for MGM node log files

[ndbd]
# Options for data node "A":
# (one [ndbd] section per data node)
hostname=192.168.137.121 # Hostname or IP address
datadir=/var/lib/mysql # Directory for this data node's data files

[ndbd]
# Options for data node "B":
hostname=192.168.137.122 # Hostname or IP address
datadir=/var/lib/mysql # Directory for this data node's data files

[mysqld]
# SQL node options:
hostname=192.168.137.123 # Hostname or IP address
# (additional mysqld connections can be
# specified for this node for various
# purposes such as running ndb_restore)

--18.2.5 MySQL Cluster の初期起動
最初に管理ノード、次にデータノード、最後に SQL ノードを起動してください。

--管理ノードでプロセスを起動
ndb_mgmd -f /var/lib/mysql-cluster/config.ini

--データノードでプロセスを起動
ndbd

--管理ノードでクラスタの状態を確認
ndb_mgm -e SHOW

--SQLノードでプロセスを起動

/usr/sbin/mysqld --defaults-file=/etc/my.cnf --user=mysql &

--18.2.6 テーブルとデータを含む MySQL Cluster の例

--SQLノードに接続
mysql -uroot -p
--インストール時に確認したパスワードを入力

set password = password('Aaa!1234');

use test;
CREATE TABLE tab1 (col1 int) ENGINE=NDBCLUSTER;

insert into tab1 values(1);

select * from tab1;

--18.2.7 MySQL Cluster の安全なシャットダウンと再起動

--SQLノードの停止
mysqladmin -uroot -p shutdown

--データノード停止後に管理ノードも停止
ndb_mgm -e shutdown

--------------------------------------------------------------------------------
innodb Cluster

https://www.s-style.co.jp/blog/2018/11/2722/
https://www.s-style.co.jp/blog/2018/02/1590/

mmm121 node1 mysql_router
mmm122 node2 mysql_shell
mmm123 node3

--共通のセットアップ[mmm121,mmm122,mmm123]

/usr/bin/env python
yum install -y https://dev.mysql.com/get/mysql80-community-release-el7-1.noarch.rpm

--MySQL Shell のセットアップ[mmm122]

yum install -y mysql-shell

--MySQL Group Replication のセットアップ[mmm121,mmm122,mmm123]

yum install -y mysql-community-server
systemctl start mysqld
systemctl status mysqld
mysql -u root -p`grep 'temporary password' /var/log/mysqld.log | awk -e '{print $13}'`

ALTER USER root@localhost IDENTIFIED BY 'Aaa!1234';

create user 'root'@'192.168.137.%' identified by 'Aaa!1234';
grant all on *.* to 'root'@'192.168.137.%' with grant option;

--MySQL Group Replication の各インスタンスの設定[mmm122]

mysqlsh

dba.checkInstanceConfiguration('root@192.168.137.121')

dba.configureInstance('root@192.168.137.121')
dba.configureInstance('root@192.168.137.122')
dba.configureInstance('root@192.168.137.123')

--MySQL Group Replication のクラスターを組む[mmm122]

\c root@192.168.137.121

cluster = dba.createCluster('mycluster')

cluster.addInstance('root@192.168.137.122')
cluster.addInstance('root@192.168.137.123')
cluster.status()

select user, host from mysql.user;
show databases;
cat /var/lib/mysql/mysqld-auto.cnf

--MySQL Router のセットアップ[mmm121]
yum install -y mysql-router

--MySQL Router の初期設定[mmm121]

mysqlrouter --bootstrap root@192.168.137.121 --user=mysqlrouter

systemctl start mysqlrouter
systemctl status mysqlrouter

cat /var/log/mysqlrouter/mysqlrouter.log

--動作確認[mmm122]

mysqlsh --uri root@192.168.137.121:6446 --sql

show databases;

mysqlsh --uri root@192.168.137.121:6447 --sql

CREATE DATABASE test;

mysqlsh --uri root@192.168.137.121:6447 --sql -e "select @@hostname"

--クラスタ停止
mysqlsh --uri root@192.168.137.121:3306
\py
cluster=dba.get_cluster()
cluster.status()
cluster.describe()

--read-onlyノードから先に停止する
mysqlsh --uri root@192.168.137.123:3306 --sql -e "shutdown"
mysqlsh --uri root@192.168.137.122:3306 --sql -e "shutdown"
mysqlsh --uri root@192.168.137.121:3306 --sql -e "shutdown"

--クラスタ再起動
systemctl start mysqld
systemctl start mysqlrouter

mysqlsh --uri root@192.168.137.121:3306
\py
cluster=dba.reboot_cluster_from_complete_outage('mycluster')
cluster.status()

--クラスタからのインスタンス離脱
mysqlsh --uri root@192.168.137.121:3306
\py
cluster.status()
cluster.remove_instance('root@192.168.137.123:3306')
cluster.status()

--クラスタへのインスタンス再加入
mysqlsh --uri root@192.168.137.121:3306
\py
cluster.status()
cluster.rescan()
cluster.rejoin_instance('root@192.168.137.123:3306')
cluster.status()
cluster.rescan()

PostgreSQL

DRBDを使用したactive/standby
DRBD + Pacemaker + Corosync

https://blog.1q77.com/2017/06/mariadb-on-centos7-ha-using-drbd/
http://linux-ha.org/doc/man-pages/re-ra-pgsql.html
https://knowledge4linux.blogspot.com/2012/12/drbd-84x.html

mmm121 node1
mmm122 node2
vip: 192.168.137.100

--IPv6 を無効にする

vim /etc/sysctl.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
sysctl -p

--pcs, pacemaker, corosync のインストール

yum -y install pcs

echo hacluster | passwd --stdin hacluster

systemctl enable pcsd
systemctl start pcsd
systemctl status pcsd

--クラスタ間の認証設定(node1で実施)
pcs cluster auth mmm121 mmm122 -u hacluster -p hacluster
ll /var/lib/pcsd/tokens

--クラスタの作成(node1で実施)
pcs cluster setup --name pgsql_cluster mmm121 mmm122

cat /etc/corosync/corosync.conf

--クラスタの起動(node1で実施)

pcs cluster start --all
pcs status corosync
pcs status

--DRBD のインストール

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
yum -y install kmod-drbd84 drbd84-utils

--DRBD のリソースを作成する

vim /etc/drbd.d/pgsql.res

resource pgsql {
protocol C;
meta-disk internal;
device /dev/drbd0;
disk /dev/sdb1;
handlers {
split-brain "/usr/lib/drbd/notify-split-brain.sh root";
}
# スプリットブレインからの自動復旧ポリシー
net {
allow-two-primaries no;

# スプリットブレインが検出されたときに両ノードともセカンダリロールの場合に適用されるポリシーの定義
after-sb-0pri discard-zero-changes; # 変更がなかったホストでは、他方に加えられたすべての変更内容を適用して続行

# スプリットブレインが検出されたときにどちらか1つのノードがプライマリロールである場合に適用されるポリシーの定義
after-sb-1pri discard-secondary; # クラスタからノードを強制的に削除

# スプリットブレインが検出されたときに両ノードともプライマリロールである場合に適用されるポリシーの定義
after-sb-2pri disconnect; # split-brain ハンドラスクリプト(構成されている場合)を呼び出し、コネクションを切断して切断モードで続行

rr-conflict disconnect;
}
disk {
on-io-error detach;
}
syncer {
verify-alg sha1;
}
on mmm121.example.com {
address 192.168.137.121:7789;
}
on mmm122.example.com {
address 192.168.137.122:7789;
}
}

drbdadm create-md pgsql

drbdadm up pgsql

--同期開始(node1で実施)
drbdadm primary --force pgsql

cat /proc/drbd

--ds:UpToDate/UpToDateとなるまで待つ

--DRBD デバイスをフォーマット(node1で実施)

mkfs.xfs /dev/drbd0

--PostgreSQL9.4 のインストール

yum install -y https://download.postgresql.org/pub/repos/yum/9.4/redhat/rhel-7-x86_64/pgdg-redhat94-9.4-3.noarch.rpm
yum info postgresql94-server postgresql94-contrib

yum install -y postgresql94-server postgresql94-contrib postgresql94-devel postgresql94-libs
psql --version

--DRBD デバイスを/mnt にマウント(node1で実施)
mount /dev/drbd0 /mnt
df -h

mkdir /mnt/data
chown postgres:postgres /mnt/data
chmod 700 /mnt/data

--/mnt に PostgreSQL9.4 をセットアップ(node1で実施)

export PGSETUP_INITDB_OPTIONS='-E UTF8 --locale=C -D /mnt/data'
/usr/pgsql-9.4/bin/postgresql94-setup initdb

--Listenアドレスの設定

vim /mnt/data/postgresql.conf

#listen_addresses = 'localhost'
↓
listen_addresses = '*'

--ListenIP範囲の設定
vim /mnt/data/pg_hba.conf

host all all 0.0.0.0/0 trust

--umount(node1で実施)
umount /mnt

--Pacemaker 設定(node1で実施)

pcs cluster cib clust_cfg
pcs -f clust_cfg property set stonith-enabled=false
pcs -f clust_cfg property set no-quorum-policy=ignore
pcs -f clust_cfg resource defaults resource-stickiness=200

pcs -f clust_cfg resource create pgsql_data ocf:linbit:drbd \
drbd_resource=pgsql \
op monitor interval=30s

pcs -f clust_cfg resource master PGSQLClone pgsql_data \
master-max=1 master-node-max=1 \
clone-max=2 clone-node-max=1 \
notify=true

pcs -f clust_cfg resource create pgsql_fs Filesystem \
device="/dev/drbd0" \
directory="/mnt" \
fstype="xfs"

pcs -f clust_cfg constraint colocation add pgsql_fs with PGSQLClone \
INFINITY with-rsc-role=Master

pcs -f clust_cfg constraint order promote PGSQLClone then start pgsql_fs

pcs -f clust_cfg resource create pgsql_service ocf:heartbeat:pgsql \
pgctl="/usr/pgsql-9.4/bin/pg_ctl" \
ctl_opt="-w" \
psql="/usr/pgsql-9.4/bin/psql" \
pgdata="/mnt/data" \
op start timeout=60s \
op stop timeout=60s \
op monitor interval=20s timeout=30s

pcs -f clust_cfg constraint colocation add pgsql_service with pgsql_fs INFINITY

pcs -f clust_cfg constraint order pgsql_fs then pgsql_service

pcs -f clust_cfg resource create pgsql_VIP ocf:heartbeat:IPaddr2 \
ip=192.168.137.100 cidr_netmask=32 \
op monitor interval=30s

pcs -f clust_cfg constraint colocation add pgsql_VIP with pgsql_service INFINITY

pcs -f clust_cfg constraint order pgsql_service then pgsql_VIP

pcs -f clust_cfg constraint

pcs -f clust_cfg resource show

pcs cluster cib-push clust_cfg

pcs status

--動作確認
su - postgres

vim .bash_profile
PGDATA=/mnt/data

. .bash_profile

psql -U postgres -h 192.168.137.100

SQL Server

AlwaysOn Failover Cluster Instance

OS:Windows Server2012R2
DB:SQL Server 2016

mmm181 (ドメインコントローラ,iSCSIターゲット) 192.168.137.181/192.168.70.181 40G+40G
mmm182 (アクティブ) 192.168.137.182/192.168.70.182 40G
mmm183 (スタンバイ) 192.168.137.183/192.168.70.183 40G
クラスタIP 192.168.137.184
クラスタネットワーク名 Cluster01
SQL Serverのネットワーク名 V-SQLSV
SQL ServerのVIP 192.168.137.185
ドメイン名 FCI.local

1.ActiveDirecotryのインストール[mmm181で実施]
サーバの役割の追加から「ActiveDirecotryドメインサービス」を追加
「このサーバーをドメインコントローラーに昇格する」で、ドメインコントローラーに昇格

2.ドメインへの参加[mmm182,mmm183で実施]
SQL1,SQL2のDNSとしてADマシンのIPを指定
システムのプロパティからドメインに参加

3.SQL Server実行ユーザーの作成[mmm181で実施]
ActiveDirectoryユーザーとコンピューターから、ユーザー(sqlservice)を追加

4．iSCSIターゲットの構成[mmm181で実施]
iSCSIターゲットサーバー役割サービスをインストールする
iSCSI仮想ディスクを追加し、iSCSIターゲットを構成する

DISK1: クォーラムディスク 1GB
DISK2: 共有ディスク 30GB

5．iSCSIイニシエータの構成[mmm182,mmm183で実施]

6.フェールオーバークラスタリングの追加[mmm182,mmm183で実施]
役割と機能の追加で、フェールオーバークラスタリングを追加
フェールオーバークラスター構成の検証
フェールオーバークラスター構成の作成

7.SQL Serverフェールオーバークラスターのインストール[mmm182で実施]

8.SQL Serverフェールオーバークラスターのノード追加[mmm183で実施]

9.接続確認
sqlcmd -S 192.168.137.185 -U sa -P Aaa!1234