Oracle RAC 12c R2 – Teil 3 – Shared Storage Konfiguration

Neben den VMs für die beiden RAC-Knoten benötigen wir noch eine Shared Storage Konfiguration. Sobald die VMs ausgeschaltet sind, können in Virtualbox unter Windows sechs 10 GB Disks angelegt werden:

"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" createhd --filename C:\vm\shared\asmdisk01.vdi --size 10240 --format VDI --variant Fixed
"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" createhd --filename C:\vm\shared\asmdisk02.vdi --size 10240 --format VDI --variant Fixed
"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" createhd --filename C:\vm\shared\asmdisk03.vdi --size 10240 --format VDI --variant Fixed
"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" createhd --filename C:\vm\shared\asmdisk04.vdi --size 10240 --format VDI --variant Fixed
"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" createhd --filename C:\vm\shared\asmdisk05.vdi --size 10240 --format VDI --variant Fixed
"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" createhd --filename C:\vm\shared\asmdisk06.vdi --size 10240 --format VDI --variant Fixed

Anbindung der Disks an die VMs:

"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" storageattach "ol73o122-1" --storagectl "SATA" --port 1 --device 0 --type hdd --medium C:\vm\shared\asmdisk01.vdi --mtype shareable
"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" storageattach "ol73o122-2" --storagectl "SATA" --port 1 --device 0 --type hdd --medium C:\vm\shared\asmdisk01.vdi --mtype shareable

"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" storageattach "ol73o122-1" --storagectl "SATA" --port 2 --device 0 --type hdd --medium C:\vm\shared\asmdisk02.vdi --mtype shareable
"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" storageattach "ol73o122-2" --storagectl "SATA" --port 2 --device 0 --type hdd --medium C:\vm\shared\asmdisk02.vdi --mtype shareable

"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" storageattach "ol73o122-1" --storagectl "SATA" --port 3 --device 0 --type hdd --medium C:\vm\shared\asmdisk03.vdi --mtype shareable
"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" storageattach "ol73o122-2" --storagectl "SATA" --port 3 --device 0 --type hdd --medium C:\vm\shared\asmdisk03.vdi --mtype shareable

"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" storageattach "ol73o122-1" --storagectl "SATA" --port 4 --device 0 --type hdd --medium C:\vm\shared\asmdisk04.vdi --mtype shareable
"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" storageattach "ol73o122-2" --storagectl "SATA" --port 4 --device 0 --type hdd --medium C:\vm\shared\asmdisk04.vdi --mtype shareable

"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" storageattach "ol73o122-1" --storagectl "SATA" --port 5 --device 0 --type hdd --medium C:\vm\shared\asmdisk05.vdi --mtype shareable
"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" storageattach "ol73o122-2" --storagectl "SATA" --port 5 --device 0 --type hdd --medium C:\vm\shared\asmdisk05.vdi --mtype shareable

"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" storageattach "ol73o122-1" --storagectl "SATA" --port 6 --device 0 --type hdd --medium C:\vm\shared\asmdisk06.vdi --mtype shareable
"C:\Program Files\Oracle\VirtualBox\VBoxManage.exe" storageattach "ol73o122-2" --storagectl "SATA" --port 6 --device 0 --type hdd --medium C:\vm\shared\asmdisk06.vdi --mtype shareable

Nach dem Start der Cluster-Knoten, müssten nun die neuen Disks via fdisk sichtbar sein:

[root@ol73o122-1 ~]# fdisk -l

Disk /dev/sda: 42.9 GB, 42949672960 bytes, 83886080 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x000e44b6

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048     2099199     1048576   83  Linux
/dev/sda2         2099200    83886079    40893440   8e  Linux LVM

Disk /dev/sdb: 10.7 GB, 10737418240 bytes, 20971520 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/sdc: 10.7 GB, 10737418240 bytes, 20971520 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/sdd: 10.7 GB, 10737418240 bytes, 20971520 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/sde: 10.7 GB, 10737418240 bytes, 20971520 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/mapper/ol-root: 37.7 GB, 37706792960 bytes, 73646080 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/mapper/ol-swap: 4160 MB, 4160749568 bytes, 8126464 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Um die Disks für den ASM Filer Driver zu labeln entpacken wir die Grid Infrastructure Software im Grid Home als OS-User grid:

[grid@ol73o122-1 ~]$ cd /opt/oracle/grid
[grid@ol73o122-1 grid]$ unzip -q /media/sf_transfer/linux_12201/linuxx64_12201_grid_home.zip

Das Labeln erfolgt wieder als root:

[root@ol73o122-1 dev]# export ORACLE_HOME=/opt/oracle/grid
[root@ol73o122-1 dev]# export ORACLE_BASE=/tmp
[root@ol73o122-1 dev]# /opt/oracle/grid/bin/asmcmd afd_label DATA1 /dev/sdb --init
[root@ol73o122-1 dev]# /opt/oracle/grid/bin/asmcmd afd_label DATA2 /dev/sdc --init
[root@ol73o122-1 dev]# /opt/oracle/grid/bin/asmcmd afd_label DATA3 /dev/sdd --init
[root@ol73o122-1 dev]# /opt/oracle/grid/bin/asmcmd afd_label DATA4 /dev/sde --init
[root@ol73o122-1 dev]# /opt/oracle/grid/bin/asmcmd afd_label DATA5 /dev/sdf --init
[root@ol73o122-1 dev]# /opt/oracle/grid/bin/asmcmd afd_label DATA6 /dev/sdg --init    

Oracle RAC 12c R2 – Teil 2 – Installation Oracle Linux 7.3

Im zweiten Teil erfolgt nun die Basisinstallation von Oracle Linux 7.3 auf den beiden Cluster Knoten. Für die VMs wurde folgende Grundkonfiguration gewählt:

  • Hauptspeichergröße je VM: 6 GB
  • Größe der lokalen Disk jeweils: 40 GB
  • RPM-Package-Auswahl: minimal mit UEK-Kernel
  • Konfiguration der Netzwerkkarten: manuel ohne DHCP

Netzwerkkonfiguration nach der Basisinstallation:

[root@ol73o122-1 ~]# ip addr show
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: enp0s3:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 08:00:27:45:95:3e brd ff:ff:ff:ff:ff:ff
    inet 192.168.56.101/24 brd 192.168.56.255 scope global enp0s3
       valid_lft forever preferred_lft forever
    inet6 fe80::56d4:7072:782f:dba2/64 scope link
       valid_lft forever preferred_lft forever
3: enp0s8:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 08:00:27:ad:0e:75 brd ff:ff:ff:ff:ff:ff
    inet 192.168.59.101/24 brd 192.168.59.255 scope global enp0s8
       valid_lft forever preferred_lft forever
    inet6 fe80::f08d:41a8:a861:df36/64 scope link
       valid_lft forever preferred_lft forever

Aktueller Kernel:

[root@ol73o122-1 ~]# uname -a
Linux ol73o122-1.t01.fm-berger.de 4.1.12-61.1.18.el7uek.x86_64 #2 SMP Fri Nov 4 15:48:30 PDT 2016 x86_64 x86_64 x86_64 GNU/Linux

Kurzcheck DNS:

[root@ol73o122-1 ~]# hostname
ol73o122-1.t01.fm-berger.de
[root@ol73o122-1 ~]# ping ol73o122-2.t01.fm-berger.de
PING ol73o122-2.t01.fm-berger.de (192.168.56.102) 56(84) bytes of data.
64 bytes from ol73o122-2.t01.fm-berger.de (192.168.56.102): icmp_seq=1 ttl=64 time=1.21 ms
64 bytes from ol73o122-2.t01.fm-berger.de (192.168.56.102): icmp_seq=2 ttl=64 time=0.803 ms
64 bytes from ol73o122-2.t01.fm-berger.de (192.168.56.102): icmp_seq=3 ttl=64 time=0.791 ms
^C
--- ol73o122-2.t01.fm-berger.de ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 0.791/0.934/1.210/0.197 ms
[root@ol73o122-1 ~]# ping ol73o122-2-priv.t01.fm-berger.de
PING ol73o122-2-priv.t01.fm-berger.de (192.168.59.102) 56(84) bytes of data.
64 bytes from ol73o122-2-priv.t01.fm-berger.de (192.168.59.102): icmp_seq=1 ttl=64 time=0.778 ms
64 bytes from ol73o122-2-priv.t01.fm-berger.de (192.168.59.102): icmp_seq=2 ttl=64 time=0.846 ms
64 bytes from ol73o122-2-priv.t01.fm-berger.de (192.168.59.102): icmp_seq=3 ttl=64 time=0.721 ms
^C
--- ol73o122-2-priv.t01.fm-berger.de ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2004ms
rtt min/avg/max/mdev = 0.721/0.781/0.846/0.060 ms

Firewall für die Erstinstallation zunächst deaktivieren:

[root@ol73o122-1 ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
Removed symlink /etc/systemd/system/basic.target.wants/firewalld.service.

Installation des Oracle Preinstall-RPMs:

[root@ol73o122-1 ~]# yum install oracle-database-server-12cR2-preinstall

Zusätzlich erforderliche RPMs für die VBoxLinuxAdditions:

[root@ol73o122-1 ~]# yum install gcc kernel-uek-devel bzip2 perl

Das Preinstall-RPM hat die OS-Gruppen oinstall und dba sowie den OS-User oracle bereits angelegt, für eine RAC-Installation benötigen wir aber weitere OS-Gruppen:

[root@ol73o122-1 ~]# id -a oracle
uid=54321(oracle) gid=54321(oinstall) groups=54321(oinstall),54322(dba)
[root@ol73o122-1 ~]# groupadd -g 54323 oper
[root@ol73o122-1 ~]# groupadd -g 54324 backupdba
[root@ol73o122-1 ~]# groupadd -g 54325 dgdba
[root@ol73o122-1 ~]# groupadd -g 54326 kmdba
[root@ol73o122-1 ~]# groupadd -g 54327 asmdba
[root@ol73o122-1 ~]# groupadd -g 54328 asmoper
[root@ol73o122-1 ~]# groupadd -g 54329 asmadmin
[root@ol73o122-1 ~]# groupadd -g 54330 racdba

Neben den OS-Gruppen legen wir zusätzlich den OS-User grid als Software-Owner für die Grid Infrastructure an:

[root@ol73o122-1 ~]# useradd -u 54322 -g oinstall -G asmadmin,asmdba,asmoper,racdba,vboxsf grid
[root@ol73o122-1 ~]# id -a grid
uid=54322(grid) gid=54321(oinstall) groups=54321(oinstall),995(vboxsf),54327(asmdba),54328(asmoper),54329(asmadmin),54330(racdba)

Dem bereits bestehenden OS-User oracle fügen wir weitere OS-Gruppen hinzu:

[root@ol73o122-1 ~]# id -a oracle
uid=54321(oracle) gid=54321(oinstall) groups=54321(oinstall),54322(dba)
[root@ol73o122-1 ~]# usermod -a -G asmdba,backupdba,dgdba,kmdba,racdba,vboxsf,oper oracle
[root@ol73o122-1 ~]# id -a oracle
uid=54321(oracle) gid=54321(oinstall) groups=54321(oinstall),54322(dba),995(vboxsf),54323(oper),54324(backupdba),54325(dgdba),54326(kmdba),54327(asmdba),54330(racdba)

Vorbereitung der Installationsverzeichnisse:

[root@ol73o122-1 ~]# mkdir -p /opt/oracle/grid-base
[root@ol73o122-1 ~]# mkdir -p /opt/oracle/grid
[root@ol73o122-1 ~]# mkdir -p /opt/oracle/rdbms
[root@ol73o122-1 ~]# chown -R grid:oinstall /opt/oracle
[root@ol73o122-1 ~]# chown oracle:oinstall /opt/oracle/rdbms
[root@ol73o122-1 ~]# chmod -R 775 /opt/oracle

Oracle RAC 12c R2 – Teil 1 – Netzwerklayout

Die nächsten Kundenprojekte mit Oracle RAC stehen an und Oracle 12c R2 ist zum Download bereit. Es wird also Zeit die eigene Installationsdoku aufzufrischen und eine erste Evaluierungs-Installation durchzuführen. Planung und Vorbereitung sind wichtige Schritte bei jeder Cluster-Installation, daher werde ich meine Installationsvorbereitungen über mehrere Blog-Einträge aufgeteilt veröffentlichen. Geplant ist der Klassiker, eine „kleine“ Zwei-Knoten-RAC Installation auf einem Notebook zu Evaluierungs-Zwecken. Die beiden RAC-Knoten werden als VMs mit Virtualbox (5.1.14) aufgesetzt, Host-Betriebssystem ist Windows und als Gast-Betriebssystem wird Oracle Linux 7.3 genutzt.

Das Netzwerklayout für diese Installation besteht aus zwei Host-Only-Netzwerken in Virtualbox:

  • Netz 1 – Public: 192.168.56.0/24
  • Netz 2 – Privat / Cluster-Interconnect: 192.168.59.0/24
  • DNS Subdomain: .t01.fm-berger.de

Neben den beiden VMs für die RAC-Knoten gibt es eine weitere VM für die Bereitstellung der Basisinfrastruktur:

  • Hostname: infra01.t01.fm-berger.de
  • IP im Netz 1: 192.168.56.10
  • IP im Netz 2: 192.168.59.10

Für die einzelnen Cluster-Knoten sind folgende Hostnamen und IPs geplant:

Knoten 1 Knoten 2
Hostname – Public ol73o122-1.t01.fm-berger.de ol73o122-2.t01.fm-berger.de
IP – Public 192.168.56.101 192.168.56.102
Hostname VIP – Public ol73o122-1-vip.t01.fm-berger.de ol73o122-2-vip.t01.fm-berger.de
IP VIP – Public 192.168.56.111 192.168.56.112
Hostname Private (Interconnect) ol73o122-1-priv.t01.fm-berger.de ol73o122-2-priv.t01.fm-berger.de
IP Private (Interconnect) 192.168.59.101 192.168.59.102

Und für den SCAN-Hostname:

  • Hostname: ol73o122-scan.t01.fm-berger.de
  • IPs: 192.168.56.121, 192.168.56.122, 192.168.56.123

Als ersten Schritt benötigen wir nun eine passende DNS-Server-Konfiguration auf dem System infra01.t01.fm-berger.de. Diese VM ist über zwei Netzwerkinterfaces angebunden:

[root@infra01 ~]# ip addr show
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: enp0s3:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 08:00:27:dd:27:b3 brd ff:ff:ff:ff:ff:ff
    inet 192.168.56.10/24 brd 192.168.56.255 scope global enp0s3
       valid_lft forever preferred_lft forever
    inet6 fe80::ebd5:891c:22a3:8d49/64 scope link
       valid_lft forever preferred_lft forever
3: enp0s8:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 08:00:27:8f:52:06 brd ff:ff:ff:ff:ff:ff
    inet 192.168.59.10/24 brd 192.168.59.255 scope global enp0s8
       valid_lft forever preferred_lft forever
    inet6 fe80::305:ba33:311a:c878/64 scope link
       valid_lft forever preferred_lft forever

Zur Vereinfachung ist die Firewall auf diesem System deaktiviert:

[root@infra01 ~]# systemctl disable firewalld
[root@infra01 ~]# systemctl stop firewalld

Als DNS-Server wird BIND eingesetzt:

[root@infra01 yum.repos.d]# yum install bind-libs bind bind-utils

Die Konfigurationsdateien wurden wie folgt angepasst:
/etc/named.conf

options {
  listen-on port 53 { 127.0.0.1; 192.168.56.10; 192.168.59.10; };
  directory     "/var/named";
  dump-file     "/var/named/data/cache_dump.db";
  statistics-file "/var/named/data/named_stats.txt";
  memstatistics-file "/var/named/data/named_mem_stats.txt";
  allow-query     { localhost; 192.168.56.0/24; 192.168.59.0/24; };
  recursion no;
  dnssec-enable no;
  dnssec-validation no;
  pid-file "/run/named/named.pid";
  session-keyfile "/run/named/session.key";
};

logging {
  channel default_debug {
    file "data/named.run";
    severity dynamic;
  };
};

zone "t01.fm-berger.de" IN {
  type master;
  file "t01.fm-berger.de.zone";
  allow-update { none; };
};

zone "56.168.192.in-addr.arpa." IN {
  type master;
  file "192.168.56.zone";
  allow-update { none; };
};

zone "59.168.192.in-addr.arpa." IN {
  type master;
  file "192.168.59.zone";
  allow-update { none; };
};

/var/named/t01.fm-berger.de.zone

@ IN SOA infra01. root.localhost. (
  2017030201; serial
       28800; refresh, seconds
        7200; retry, seconds
      604800; expire, seconds
       86400 ); minimum, seconds
;
  NS infra01.;
;
infra01         IN A    192.168.56.10
ol73o122-1      IN A    192.168.56.101
ol73o122-2      IN A    192.168.56.102
ol73o122-1-priv IN A    192.168.59.101
ol73o122-2-priv IN A    192.168.59.102
ol73o122-1-vip  IN A    192.168.56.111
ol73o122-2-vip  IN A    192.168.56.112
ol73o122-scan   IN A    192.168.56.121
ol73o122-scan   IN A    192.168.56.122
ol73o122-scan   IN A    192.168.56.123

/var/named/192.168.56.zone

$ORIGIN 56.168.192.in-addr.arpa.
$TTL 1H
@ IN SOA infra01.t01.fm-berger.de. root.infra01.t01.fm-berger.de. (
  2017030201; serial
       28800; refresh, seconds
        7200; retry, seconds
      604800; expire, seconds
       86400 ); minimum, seconds
;
56.168.192.in-addr.arpa. IN NS infra01.t01.fm-berger.de.
IN  NS infra01.t01.fm-berger.de.
101 IN PTR ol73o122-1.t01.fm-berger.de.
102 IN PTR ol73o122-2.t01.fm-berger.de.
111 IN PTR ol73o122-1-vip.t01.fm-berger.de.
112 IN PTR ol73o122-2-vip.t01.fm-berger.de.
121 IN PTR ol73o122-scan.t01.fm-berger.de.
122 IN PTR ol73o122-scan.t01.fm-berger.de.
123 IN PTR ol73o122-scan.t01.fm-berger.de.

/var/named/192.168.59.zone

$ORIGIN 59.168.192.in-addr.arpa.
$TTL 1H
@ IN SOA infra01.t01.fm-berger.de. root.infra01.t01.fm-berger.de. (
  2017030201; serial
       28800; refresh, seconds
        7200; retry, seconds
      604800; expire, seconds
       86400 ); minimum, seconds
;
59.168.192.in-addr.arpa. IN NS infra01.t01.fm-berger.de.
IN  NS infra01.t01.fm-berger.de.
101 IN PTR ol73o122-1-priv.t01.fm-berger.de.
102 IN PTR ol73o122-2-priv.t01.fm-berger.de.

Start von named und dauerhafte Aktivierung:

[root@infra01 ~]# systemctl enable named
[root@infra01 ~]# systemctl start named

FC6, iSCSI + Oracle RAC and 23C3 — new stuff for the cold days

Wuff, the year 2006 nearly finished with the speed of light. But there is still one month left with a lot of new stuff to check out.

Last week I upgraded my notebook from Fedora Core 5 to Fedora Core 6. Hey! Everything worked without a problem. Just the usual update of the fedora-release-6-4.noarch.rpm package followed by yum upgrade and I am on FC6…

There are two new OTN articles about iSCSI and Oracle RAC. The first one „Setting Up an Inexpensive iSCSI Linux Cluster Using SLES10 and OCFS2“ is from Mark Fasheh and Todd Trichler. The Paper is quite short and only describes how to get the storage part working. This article is also included in the „How-To’s“ section on the „Download OTN’s Greatest Hits CD“. The second article „Build Your Own Oracle RAC 10g Release 2 Cluster on Linux and iSCSI“ from Jeffrey Hunter includes an complete work through from OS installation to the RAC setup.

Finally the „Fahrplan“/Agenda of the 23C3 conference in Berlin got released too. That is definitely something you should check out…