Oracle RAC 12c R2 - Teil 1 - Netzwerklayout

Die nächsten Kundenprojekte mit Oracle RAC stehen an und Oracle 12c R2 ist zum Download bereit. Es wird also Zeit die eigene Installationsdoku aufzufrischen und eine erste Evaluierungs-Installation durchzuführen. Planung und Vorbereitung sind wichtige Schritte bei jeder Cluster-Installation, daher werde ich meine Installationsvorbereitungen über mehrere Blog-Einträge aufgeteilt veröffentlichen. Geplant ist der Klassiker, eine "kleine" Zwei-Knoten-RAC Installation auf einem Notebook zu Evaluierungs-Zwecken. Die beiden RAC-Knoten werden als VMs mit Virtualbox (5.1.14) aufgesetzt, Host-Betriebssystem ist Windows und als Gast-Betriebssystem wird Oracle Linux 7.3 genutzt.

Das Netzwerklayout für diese Installation besteht aus zwei Host-Only-Netzwerken in Virtualbox:

  • Netz 1 - Public: 192.168.56.0/24
  • Netz 2 - Privat / Cluster-Interconnect: 192.168.59.0/24
  • DNS Subdomain: .t01.fm-berger.de

Neben den beiden VMs für die RAC-Knoten gibt es eine weitere VM für die Bereitstellung der Basisinfrastruktur:

  • Hostname: infra01.t01.fm-berger.de
  • IP im Netz 1: 192.168.56.10
  • IP im Netz 2: 192.168.59.10

Für die einzelnen Cluster-Knoten sind folgende Hostnamen und IPs geplant:

Knoten 1 Knoten 2
Hostname - Public ol73o122-1.t01.fm-berger.de ol73o122-2.t01.fm-berger.de
IP - Public 192.168.56.101 192.168.56.102
Hostname VIP - Public ol73o122-1-vip.t01.fm-berger.de ol73o122-2-vip.t01.fm-berger.de
IP VIP - Public 192.168.56.111 192.168.56.112
Hostname Private (Interconnect) ol73o122-1-priv.t01.fm-berger.de ol73o122-2-priv.t01.fm-berger.de
IP Private (Interconnect) 192.168.59.101 192.168.59.102

Und für den SCAN-Hostname:

  • Hostname: ol73o122-scan.t01.fm-berger.de
  • IPs: 192.168.56.121, 192.168.56.122, 192.168.56.123

Als ersten Schritt benötigen wir nun eine passende DNS-Server-Konfiguration auf dem System infra01.t01.fm-berger.de. Diese VM ist über zwei Netzwerkinterfaces angebunden:

[root@infra01 ~]# ip addr show
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: enp0s3:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 08:00:27:dd:27:b3 brd ff:ff:ff:ff:ff:ff
    inet 192.168.56.10/24 brd 192.168.56.255 scope global enp0s3
       valid_lft forever preferred_lft forever
    inet6 fe80::ebd5:891c:22a3:8d49/64 scope link
       valid_lft forever preferred_lft forever
3: enp0s8:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 08:00:27:8f:52:06 brd ff:ff:ff:ff:ff:ff
    inet 192.168.59.10/24 brd 192.168.59.255 scope global enp0s8
       valid_lft forever preferred_lft forever
    inet6 fe80::305:ba33:311a:c878/64 scope link
       valid_lft forever preferred_lft forever

Zur Vereinfachung ist die Firewall auf diesem System deaktiviert:

[root@infra01 ~]# systemctl disable firewalld
[root@infra01 ~]# systemctl stop firewalld

Als DNS-Server wird BIND eingesetzt:

[root@infra01 yum.repos.d]# yum install bind-libs bind bind-utils

Die Konfigurationsdateien wurden wie folgt angepasst:
/etc/named.conf

options {
  listen-on port 53 { 127.0.0.1; 192.168.56.10; 192.168.59.10; };
  directory     "/var/named";
  dump-file     "/var/named/data/cache_dump.db";
  statistics-file "/var/named/data/named_stats.txt";
  memstatistics-file "/var/named/data/named_mem_stats.txt";
  allow-query     { localhost; 192.168.56.0/24; 192.168.59.0/24; };
  recursion no;
  dnssec-enable no;
  dnssec-validation no;
  pid-file "/run/named/named.pid";
  session-keyfile "/run/named/session.key";
};

logging {
  channel default_debug {
    file "data/named.run";
    severity dynamic;
  };
};

zone "t01.fm-berger.de" IN {
  type master;
  file "t01.fm-berger.de.zone";
  allow-update { none; };
};

zone "56.168.192.in-addr.arpa." IN {
  type master;
  file "192.168.56.zone";
  allow-update { none; };
};

zone "59.168.192.in-addr.arpa." IN {
  type master;
  file "192.168.59.zone";
  allow-update { none; };
};

/var/named/t01.fm-berger.de.zone

@ IN SOA infra01. root.localhost. (
  2017030201; serial
       28800; refresh, seconds
        7200; retry, seconds
      604800; expire, seconds
       86400 ); minimum, seconds
;
  NS infra01.;
;
infra01         IN A    192.168.56.10
ol73o122-1      IN A    192.168.56.101
ol73o122-2      IN A    192.168.56.102
ol73o122-1-priv IN A    192.168.59.101
ol73o122-2-priv IN A    192.168.59.102
ol73o122-1-vip  IN A    192.168.56.111
ol73o122-2-vip  IN A    192.168.56.112
ol73o122-scan   IN A    192.168.56.121
ol73o122-scan   IN A    192.168.56.122
ol73o122-scan   IN A    192.168.56.123

/var/named/192.168.56.zone

$ORIGIN 56.168.192.in-addr.arpa.
$TTL 1H
@ IN SOA infra01.t01.fm-berger.de. root.infra01.t01.fm-berger.de. (
  2017030201; serial
       28800; refresh, seconds
        7200; retry, seconds
      604800; expire, seconds
       86400 ); minimum, seconds
;
56.168.192.in-addr.arpa. IN NS infra01.t01.fm-berger.de.
IN  NS infra01.t01.fm-berger.de.
101 IN PTR ol73o122-1.t01.fm-berger.de.
102 IN PTR ol73o122-2.t01.fm-berger.de.
111 IN PTR ol73o122-1-vip.t01.fm-berger.de.
112 IN PTR ol73o122-2-vip.t01.fm-berger.de.
121 IN PTR ol73o122-scan.t01.fm-berger.de.
122 IN PTR ol73o122-scan.t01.fm-berger.de.
123 IN PTR ol73o122-scan.t01.fm-berger.de.

/var/named/192.168.59.zone

$ORIGIN 59.168.192.in-addr.arpa.
$TTL 1H
@ IN SOA infra01.t01.fm-berger.de. root.infra01.t01.fm-berger.de. (
  2017030201; serial
       28800; refresh, seconds
        7200; retry, seconds
      604800; expire, seconds
       86400 ); minimum, seconds
;
59.168.192.in-addr.arpa. IN NS infra01.t01.fm-berger.de.
IN  NS infra01.t01.fm-berger.de.
101 IN PTR ol73o122-1-priv.t01.fm-berger.de.
102 IN PTR ol73o122-2-priv.t01.fm-berger.de.

Start von named und dauerhafte Aktivierung:

[root@infra01 ~]# systemctl enable named
[root@infra01 ~]# systemctl start named

Oracle Database 11.2 Express Edition Beta

Seit ein paar Tage ist eine Beta Version für die Oracle Database 11.2 Express Edition verfügbar. Die Beta basiert auf dem Release Stand 11.2.0.2.0. Eine erste Installation unter Oracle Enterprise Linux 6 verlief relativ problemlos.

Wichtig ist das der Hostname des Systems auflösbar ist:

[root@centos6 log]# ping `hostname`
PING centos6 (192.168.56.101) 56(84) bytes of data.
64 bytes from centos6 (192.168.56.101): icmp_seq=1 ttl=64 time=0.081 ms
64 bytes from centos6 (192.168.56.101): icmp_seq=2 ttl=64 time=0.078 ms

Die Installation erfolgt dann wie von der 10g Version gewohnt:

[root@centos6 mnt]# rpm -i oracle-xe-11.2.0-0.5.x86_64.rpm
Executing post-install steps...
You must run '/etc/init.d/oracle-xe configure' as the root user to configure the database.

[root@centos6 log]# /etc/init.d/oracle-xe configure

Oracle Database 11g Express Edition Configuration
-------------------------------------------------
This will configure on-boot properties of Oracle Database 11g Express
Edition.  The following questions will determine whether the database should
be starting upon system boot, the ports it will use, and the passwords that
will be used for database accounts.  Press  to accept the defaults.
Ctrl-C will abort.

Specify the HTTP port that will be used for Oracle Application Express [8080]:

Specify a port that will be used for the database listener [1521]:

Specify a password to be used for database accounts.  Note that the same
password will be used for SYS and SYSTEM.  Oracle recommends the use of
different passwords for each database account.  This can be done after
initial configuration:
Confirm the password:

Do you want Oracle Database 11g Express Edition to be started on boot (y/n) [y]:

Starting Oracle Net Listener...Done
Configuring database...Done
Starting Oracle Database 11g Express Edition instance...Done
Installation completed successfully.

Auf meinem System gab es beim ersten Versuch Schwierigkeiten mit folgenden Einträgen in der Datei /etc/sysctl.conf:

# Disable netfilter on bridges.
net.bridge.bridge-nf-call-ip6tables = 0
net.bridge.bridge-nf-call-iptables = 0
net.bridge.bridge-nf-call-arptables = 0

Ein zweiter Versuch das RPM-Paket zu installieren lief reibungslos durch. Auf dem Testsystem ist eine Firewall aktiv. Für den Remote-Zugriff auf die Datenbank und die APEX-Weboberfläche wurden folgende Firewall-Regeln in /etc/sysconfig/iptables ergänzt:

-A INPUT -m state --state NEW -m tcp -p tcp --dport 1521 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j ACCEPT

Zum Schluss muss der Remote-Zugriff auf die Web-Oberfläche in der XDB-Konfiguration ebenfalls eingetragen werden:

[root@centos6 ~]# su - oracle
-bash-4.1$ . /u01/app/oracle/product/11.2.0/xe/bin/oracle_env.sh
-bash-4.1$ sqlplus / as sysdba
SQL*Plus: Release 11.2.0.2.0 Beta on Tue Apr 5 18:07:08 2011
Copyright (c) 1982, 2010, Oracle.  All rights reserved.
Connected to:
Oracle Database 11g Express Edition Release 11.2.0.2.0 - 64bit Beta
SQL> EXEC DBMS_XDB.SETLISTENERLOCALACCESS(FALSE);
PL/SQL procedure successfully completed.
SQL>

RHEL / OEL 6 DVD als yum-Repository verwenden

Welcher Linux Administrator kennt das Problem nicht, nach der Installation von Linux sollen einzelne RPM-Pakete nachinstalliert werden. Aufgrund der vielen Abhängigkeiten zwischen den Paketen ist der direkte Einsatz des Tools rpm oft mühsam. Hier hat sich der yum-Einzeiler "yum install PACKAGENAME" bewährt.

In so mancher Firmenumgebung steht aber leider nicht direkt ein YUM-Repository zur Verfügung und die Server haben meist keinen Internetzugang. YUM kann die Installations-DVD mit ein wenig Nachhilfe auch direkt als Repository verwenden. Hier am Beispiel für Oracle Enterprise Linux 6 dargestellt (die DVD wurde unter /mnt gemountet):

[root@centos6 ~]# cd /mnt
[root@centos6 mnt]# cp media.repo /etc/yum.repos.d/
[root@centos6 mnt]# vi /etc/yum.repos.d/media.repo

In der Datei muss noch ein entsprechender Eintrag für den Parameter baseurl aufgenommen werden. In diesem Fall also:

baseurl=file:///mnt

JRockit Virtualization Edition

Ab heute gibt es Oracle WebLogic Server on JRockit Virtualization Edition als Download. Vor ein paar Wochen gab es bereits ein Meldung bei heise.de zu neuen Java-Virtualisierungswerkzeugen von Oracle - Oracle präsentiert Java-Virtualisierungswerkzeuge. Die technische Basis für dieses Produkt wurde Ende 2006 von der Firma BEA als Liquid VM angekündigt (theserverside.com - JRockit's Liquid VM could be the first real Java OS). Hinter der JRockit Virtualization Edition steckt der Ansatz eine Java VM direkt auf virtualisierter Hardware, ohne Betriebssystem-Schicht, laufen zu lassen. Einen ähnlichen Ansatz stellt das Projekt JNode.org (Java New Operating System Design Effort) dar.

Oracle liefert die JRockit Virtualization Edition zusammen mit Weblogic als 370 MB grosses Zip-File. Darin sind folgende Dateien enthalten:

# unzip -t wlsvePackage.zip 
Archive:  wlsvePackage.zip
    testing: wlsve/                   OK
    testing: wlsve/system.img         OK
    testing: wlsve/vm.cfg             OK
    testing: wlsveimagetool.jar       OK
    testing: README.txt               OK
    testing: wlsve_medrec_domain_with_odb.pdf   OK
    testing: THIRDPARTYLICENSEREADME.txt   OK

Hauptbestandteil ist das Disk-Image system.img

$ qemu-img info wlsve/system.img 
image: wlsve/system.img
file format: raw
virtual size: 1.0G (1073741824 bytes)
disk size: 1.0G

Als Dateisystem wird in diesem Disk-Image ext2 verwendet, die Disk lässt sich daher unter Linux ohne Schwierigkeiten direkt mounten.

# mount -o loop wlsve/system.img /mnt
# cd /mnt
# ls -l
total 20
drwx------ 8 root root 4096 2010-04-14 02:48 application
drwx------ 3 root root 4096 2010-04-14 02:49 boot
drwx------ 8 root root 4096 2010-04-14 02:49 jrockitve
drwx------ 2 root root 4096 2010-04-14 02:48 lost+found
-rw------- 1 root root  361 2010-04-14 02:49 VERSION

Für den Betrieb einer Virtuellen-Maschine mit JRockit VE wird eigentlich Oracle VM benötigt. In einem ersten Test ließ sich das Disk-Image aber auch in einer normalen Xen-Umgebung booten. Hierzu wurde die Konfigurations-Datei vm.cfg mit folgendem Inhalt versehen:

name="wlsve01"
bootloader="/usr/bin/pygrub"
memory=1024
disk=['tap:aio:/var/nfs/system.img,sda1,w']
vif=['bridge=xenbr0']

Der Start der Xen-Domain erfolgt dann wie gewohnt mit den entsprechenden Xen-Befehlen.

# xm create -c vm.cfg

Oracle Enterprise Manager 11g - Teil 1

Gestern Abend hat Oracle die Version 11g für den Enterprise Manager veröffentlicht. Entsprechende Infos und Videos zu diesem Launch gibts bei Oracle unter: Introducing Oracle Enterprise Manager 11g Grid Control!. Für mich überraschend steht die Software (zumindest für Linux) auch gleich zum Download bereit (Oracle Enterprise Manager Downloads). Da lohnt sich natürlich gleich ein Blick was sich alles verändert hat!

Middleware und RDBMS sind nicht mehr im Installationsumfang enthalten

D.h. diese Komponenten müssen vorab bereits installiert werden! Dies war einer der Punkte der mich bei Grid Control immer gestört hatte die enthaltenen Versionen von Middleware und RDBMS waren meist etwas angestaubt. So hat man mehr Flexibiltät bei der Installation.

Kleiner wird das Installationsumfang dadurch allerdings nicht. Die drei Zip-Files sind zusammen 4 GB groß:

[root@w0007 linux64]# ls -l
total 4324640
-rwxr-xr-x 1 frank frank 1430649163 2010-04-23 14:34 GridControl_11.1.0.1.0_Linux_x86-64_1of3.zip
-rwxr-xr-x 1 frank frank 1589674193 2010-04-23 14:56 GridControl_11.1.0.1.0_Linux_x86-64_2of3.zip
-rwxr-xr-x 1 frank frank 1408054490 2010-04-23 14:36 GridControl_11.1.0.1.0_Linux_x86-64_3of3.zip
Der Installationsvorgang

Die Installation lief in meinem Fall problemlos ab, die einzige wirkliche Änderung gegenüber Version 10gR5 ist das eine Datenbank-Instanz und der Weblogic Applicationserver bereits vor der Installation des Enterprise Manager aufgesetzt werden müssen.

Komponenten-Stack / Verzeichnisse

An der Verzeichnisstruktur des Enterprise Manager hat sich in Version 11gR1 hingegen einiges getan, man erkennt deutlich wie nun unterschiedliche Produktlinien langsam zusammenkommen. Neu ist der Begriff des Middleware-Home. Unterhalb dieses Verzeichnisses gibt es dann eine Fülle weiterer Verzeichnissbäume und Oracle Homes:

[oracle@oragrid middleware]$ ls -l
total 152
drwxr-xr-x 45 oracle oinstall  4096 Apr 24 13:27 agent11g
-rw-r-----  1 oracle oinstall   218 Apr 24 12:43 domain-registry.xml
drwxr-x---  7 oracle oinstall  4096 Apr 23 12:45 jdk160_14_R27.6.5-32
drwxr-x---  7 oracle oinstall  4096 Apr 23 12:45 jrockit_160_14_R27.6.5-32
drwxr-x---  2 oracle oinstall  4096 Apr 23 12:47 logs
drwxr-x---  7 oracle oinstall 24576 Apr 23 12:58 modules
-rw-r-----  1 oracle oinstall   623 Apr 23 13:00 ocm.rsp
drwxr-x---  5 oracle oinstall  4096 Apr 23 12:47 oepe_11gR1PS1
drwxr-xr-x 55 oracle oinstall  4096 Apr 24 12:39 oms11g
drwxr-xr-x 28 oracle oinstall  4096 Apr 23 21:05 oracle_common
drwxr-xr-x 48 oracle oinstall  4096 Apr 23 21:11 Oracle_WT
drwxr-xr-x  4 oracle oinstall  4096 Apr 23 12:58 patch_oepe1032
drwxr-xr-x  5 oracle oinstall  4096 Apr 23 13:03 patch_wls1032
-rw-r-----  1 oracle oinstall 57384 Apr 23 12:47 registry.dat
-rw-r-----  1 oracle oinstall  2640 Apr 23 12:47 registry.xml
drwxr-x---  3 oracle oinstall  4096 Apr 24 12:43 user_projects
drwxr-x---  8 oracle oinstall  4096 Apr 23 12:40 utils
drwxr-x---  7 oracle oinstall  4096 Apr 23 12:47 wlserver_10.3

Der Plattenplatz-Bedarf hat mit dieser Version ebenfalls nochmals zugelegt, das Middleware Home belegt nach der Installation satte 8 GB, hier eine grobe Aufteilung:

[oracle@oragrid middleware]$ du -sh *
1.1G	agent11g
4.0K	domain-registry.xml
172M	jdk160_14_R27.6.5-32
187M	jrockit_160_14_R27.6.5-32
8.0K	logs
122M	modules
4.0K	ocm.rsp
254M	oepe_11gR1PS1
3.9G	oms11g
833M	oracle_common
1.2G	Oracle_WT
16K	patch_oepe1032
60K	patch_wls1032
64K	registry.dat
4.0K	registry.xml
12K	user_projects
35M	utils
518M	wlserver_10.3

In den nächsten Teilen folgt dann eine Übersicht zu neuen Features und der Bedienung des Enterprise Managers.