Viele DBAs und Entwickler möchten gerne Erfahrungen mit dem Real Application Cluster von Oracle sammeln. Leider hat man aber selten die Hardware zur Verfügung um sich schnell einen Test-Cluster aufzubauen. Eine Lösung dafür heißt Virtualisierung. Was liegt also näher als sich eine RAC Umgebung mit Oracle Virtual Machine aufzubauen?

Nun stellen sich folgende Probleme: Erstens ist OVM ein Serverprodukt und keine Lösung wie VMware Server oder Workstation, welches einfach auf einem Windows/Linux Rechner läuft, zweitens sollte man für die Administration besser einen zweiten Server haben (für den VM Manager) und drittens findet man im Netz kaum Step-by-Step Anleitungen.

Da ich selbst ein Verfechter der Oracle VM (OVM) bin, war dies der Grund eine solche Anleitung zu verfassen. Allerdings merkte ich schnell, dass hierzu mehr erforderlich ist, als nur die simple RAC Installationsanweisung. Besonders, wenn man das Ziel verfolgte das Ganze mit nur einem! Laptop (mit nur einer Netzwerkkarte) zu machen. Aus diesem Grund ist der vorliegende Tipp auch etwas länger geworden und kann in folgende Teile aufgeteilt werden, die auch separat betrachtet werden können.

1. Installation von OVM Server + Installation von OVM Manager auf dem selben Rechner mit graphischer Oberfläche
2. Konfiguration eines NAT Netzwerkes, damit die RAC Server keine externen IP Adressen brauchen
3. Installation des RAC

• 4 GB RAM (2GB wären ausreichend, in diesem Falle dürfte den VM Gast Systemen nur weniger Speicher zu Verfügung gestellt werden - Dom0 512MB, DomU1 768MB DomU2 768MB)
• 48 GB Festplattenplatz
• Voraussetzungen an den Prozessor wie in der Dokumentation von OracleVM gelistet

Software

Installation des OVM Servers

Die Installation des VM Servers erfolgt ganz nach der Dokumentation. Einfach die CD einlegen und den Rechner starten. Bitte bedenken Sie, dass bei einer Default Installation alle Daten auf dem Rechner verloren gehen. Es gibt durchaus Wege, den Rechner dual bootfähig zu machen und bestehende Installation nicht zu beeinträchtigen. Dies wird in diesem Tipp aber nicht behandelt. An dieser Stelle gilt es nur bei der Partionierung der Platte zu beachten, dass die Default Einstellungen verändert werden, da die Root Partition bei einem reinen VM Server recht klein gehalten ist. Dies würde nicht ausreichen, wenn später GNOME und der VM Manager installiert werden soll:

=> Install CD Server

=> <ENTER>
=> CD Found <Skip>
=> Keyboard <de>
=> Use Free space on select drives and create default layout <OK>
=> Review and modify partitioning layout? <Yes>
/dev/sda
	sda1	100M	ext3   /boot
	sda2	49152	ext3   /       Hier so viel Plattenplatz wie möglich !
	sda3	2048	swap

=> Boot Loader Configuration </dev/sda>
=> Choose Network Interface => eth0
=> Dynamic IP Address, or fixed / Enable IPv4 / Autostart on boot
=> Hostname
=> Time Zone <System clock uses UTC> <Europe/Berlin>
=> Oracle VM Agent password <pwd>
=> Root Password <pwd>
=> Install <OK>
=> Installation done <Reboot>
=> End User License Agreement <Agree>

Installation der graphisches Benutzeroberfläche (GNOME)

Damit GNOME und damit später der VM Manager installiert werden kann, sollte als erstes die Memory Zuweisung für die Dom0 geändert werden. Dazu werden die Boot Informationen der Dom0 in /bott/grub/grub.conf angepasst:

vi /boot/grub/grub.conf

# grub.conf generated by anaconda
#
# Note that you do not have to rerun grub after making changes to this file
default=2
timeout=5
splashimage=(hd0,1)/boot/grub/splash.xpm.gz
hiddenmenu
...
title Oracle VM Server-ovs (xen-3.1.4 2.6.18-8.1.15.3.1.el5ovs)
        root (hd0,1)
        kernel /boot/xen-32bit.gz dom0_mem=768M
        module /boot/vmlinuz-2.6.18-8.1.15.3.1.el5xen ro root=LABEL=/
        module /boot/initrd-2.6.18-8.1.15.3.1.el5xen.img
...
title Oracle VM Server-ovs (xen-64-3.1.4 2.6.18-8.1.15.3.1.el5ovs)
        root (hd0,1)
        kernel /boot/xen-64bit.gz dom0_mem=768M
        module /boot/vmlinuz-2.6.18-8.1.15.3.1.el5xen ro root=LABEL=/
        module /boot/initrd-2.6.18-8.1.15.3.1.el5xen.img
...
title Other
        rootnoverify (hd0,0)
        chainloader +1

# cd /etc/yum.repos.d
# wget http://public-yum.oracle.com/public-yum-ovm2.repo
# wget http://public-yum.oracle.com/public-yum-el5.repo

# vi public-yum-ovm2.repo

[ovm2_2.1.2_base]
name=OracleVM 2 - 2.1.2 - $basearch - base
baseurl=http://public-yum.oracle.com/repo/OracleVM/OVM2/2.1.2/base/$basearch/
gpgkey=http://public-yum.oracle.com/RPM-GPG-KEY-oracle-el5
gpgcheck=1
enabled=1

# vi public-yum-el5.repo

[el5_ga_base]
name=Enterprise Linux $releasever GA - $basearch - base
baseurl=http://public-yum.oracle.com/repo/EnterpriseLinux/EL5/0/base/$basearch/
gpgkey=http://public-yum.oracle.com/RPM-GPG-KEY-oracle-el5
gpgcheck=1
enabled=1

# mount /dev/cdrom /media
# rpm -Uvh /media/Server/kernel-ovs-devel-2.6.18-8.1.15.3.1.el5.i686.rpm
# umount /dev/cdrom

# yum groupinstall "X Window System"
# yum groupinstall "GNOME Desktop Environment"

# vi /etc/inittab
> id:3:initdefault
< id:5:initdefault

init 5

Installation des VM Managers in Dom0

Anstatt alle benötigten Systemanforderungen für eine Oracle Datenbank/Oracle XE Installation selber zu checken nehmen wir einfach das oracle-validated Package von Linux. Dies sorgt nicht nur für Standard EL5 Installationen für die benötigten Systemanforderungen, sondern auch bei RedHat und OVM Servern für die richtigen Kernel Einstellungen und Softwarepackages.

Informationen zum Oracle Validated Package finden Sie unter http://oss.oracle.com/el5/oracle-validated/

Da allerdings bei OVM Server eine andere libstdc++ zum Einsatz kommt, als oracle-validated kennt, wird kurzzeitig die Standard libstdc++ installiert. Ansonsten käme es zu folgender Fehlermeldung:
Error: Missing Dependency: libstdc++ = 4.1.1-52.el5 is needed by package libstdc++-devel
Error: Missing Dependency: libstdc++ = 4.1.1-52.el5 is needed by package gcc-c++

# cd
# wget http://oss.oracle.com/el5/oracle-validated/oracle-validated-1.0.0-5.el5.i386.rpm


# wget http://public-yum.oracle.com/repo/EnterpriseLinux/EL5/0/base/i386/libstdc++-4.1.1-52.el5.i386.rpm
# wget http://public-yum.oracle.com/repo/OracleVM/OVM2/2.1.2/base/i386/libstdc++-4.1.1-52.el5.2.i386.rpm
# rpm -Uvh libstdc++-4.1.1-52.el5.i386.rpm --force
# yum install oracle-validated-1.0.0-5.el5.i386.rpm

# rpm -Uvh libstdc++-4.1.1-52.el5.2.i386.rpm --nodeps

=> 1. Install a new Oracle XE database on localhost
=> Specify the HTTP port that will be used for Oracle Application Express [8080]: <ENTER>
=> Specify a port that will be used for the database listener [1521]: <ENTER>
=> Specify a password to be used for database accounts.  Note that the same
password will be used for SYS and SYSTEM.  Oracle recommends the use of
different passwords for each database account.  This can be done after
initial configuration: <pwd>
=> Confirm the password: <pwd>
=> Do you want Oracle Database 10g Express Edition to be started on boot (y/n) [y]: <ENTER>
Set default database schema to 'OVS'.
=> Please enter the password for account 'OVS': <pwd>
=> Confirm the password: <pwd>
=> Please enter the password for account 'oc4jadmin': <pwd>
=> Confirm the password: <pwd>
=> Please enter the keystore password for the Web Service: <pwd>
=> Confirm the password: <pwd>
=> Do you want to use HTTPS access for Oracle VM Manager (Y|n)? <N>
=> Please enter the password for the default account 'admin': <pwd>
=> Confirm the password: <pwd>
=> Please enter the outgoing mail server (SMTP) hostname: <mailserver>
=> Please enter an e-mail address for account 'admin': <email>

Installation of Oracle VM Manager completed successfully.

To access the Oracle VM Manager 2.1.5 home page go to:
  http://127.0.0.1:8888/OVS
...

# chmod 755 /etc/init.d/oc4j
# vi /etc/init.d/oc4j

# chkconfig: 345 90 10
# description: Oracle VM Manager

# chkconfig --add oc4j

Entfernen aus rc.local:
# vi /etc/rc.local
/etc/init.d/oc4j start

# chkconfig --level 234 oc4j off
# chkconfig --level 234 oracle-xe off
# service oc4j start
# service oracle-xe stop
etc.

# wget http://oss.oracle.com/oraclevm/manager/RPMS/tightvnc-java-1.3.9-3.noarch.rpm
# yum install tightvnc-java-1.3.9-3.noarch.rpm

# system-config-securitylevel-tui
=> Firewall: Disable

NAT Netzwerk

Dies ist dann sinnvoll, wenn auf die RAC Knoten nicht extern zugegriffen wird und Sie nicht von Ihrem Netzwerkadministrator zusätzliche Netzwerkaddressen beantragen wollen.

Die OVM Server funktionieren standardmäßig mit Bridges, die über die externen Netzwerkkarten mit dem Netzwerk kommunizieren. Diese Funktionalität wird als erstes abgeschaltet. Zwar bietet auch der Xen Server eine Einstellung für NAT, diese ist aber für unsere Zwecke ungeeignet. D.h. wir deaktivieren zuerst die Defaulteinstellungen des Xen Servers. Hierzu entfernen wir alle Einträge der Netzwerkkonfiguration aus der OVM Server Konfiguration /etc/xen/xend-config.sxp:

# vi /etc/xen/xend-config.sxp

Auskommentieren aller Netzwerkeinstellungen
# (network-script network-bridge)
# (vif-script vif-bridge)

Stoppen der vorhandenen Bridges und durchstarten des Xen Daemons:
# /etc/xen/scripts/network-bridges stop
# service xend restart

# brctl addbr xenbr0
# brctl stp xenbr0 off
# brctl setfd xenbr0 0

# brctl addbr xenbr1
# brctl stp xenbr1 off
# brctl setfd xenbr1 0

# ip addr add 192.168.5.1/24 brd + dev xenbr0
# ip link set up xenbr0

# ip addr add 10.10.5.1/24 brd + dev xenbr1
# ip link set up xenbr1

# vi /etc/sysconfig/network-scripts/ifcfg-xenbr0

DEVICE=xenbr0
TYPE=Bridge
BOOTPROTO=none
ONBOOT=yes
IPADDR=192.168.5.1
NETMASK=255.255.255.0
BROADCAST=192.168.5.255
DELAY=0
STP=off

# vi /etc/sysconfig/network-scripts/ifcfg-xenbr1

DEVICE=xenbr0
TYPE=Bridge
BOOTPROTO=none
ONBOOT=yes
IPADDR=10.10.5.1
NETMASK=255.255.255.0
BROADCAST=10.10.5.255
DELAY=0
STP=off

# service network restart

# vi /etc/sysctl.conf
net.ipv4.ip_forward=1

# sysctl -p              

# iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
Permanentes Speichern der iptables Regeln:
# service iptables save

# route -na
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.5.0     0.0.0.0         255.255.255.0   U     0      0        0 xenbr0
10.10.5.0       0.0.0.0         255.255.255.0   U     0      0        0 xenbr1
192.168.2.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     0      0        0 eth0
0.0.0.0         192.168.2.1     0.0.0.0         UG    0      0        0 eth0

# vi /etc/sysconfig/network-scripts/ifcfg-eth0

IPADDR=192.168.5.21
NETMASK=255.255.255.0
GATEWAY=192.168.5.1

Anlegen der ersten VM (RAC Knoten 1)

Um ein paravirtualisiertes Linux zu installieren, brauchen wir ein NFS Mount auf den das zukünftige Gast System Zugriff hat. Ich habe hierzu einfach die aktuelle Oracle Enterprise Linux 5.3 DVD auf den VM Server unter /stage kopiert und dort extrahiert.
Ebenso könnte man nun bereits auch ein bestehendes Oracle VM Template verwenden. Siehe hierzu http://edelivery.oracle.com/linux. Das RAC Template ist aber noch nicht verfügbar.

HINWEIS: Da das aktuelle Unzip auf EL5/OVM nur Files bis 2GB Größe unterstützt findet man unter http://oss.oracle.com/el4/unzip/unzip.html ein neueres Unzip Utility, welches verwendet werden kann, die OEL 5.3 DVD oder die Templates zu entpacken.

Nun muss noch die DVD über NFS im Zugriff sein:

# mkdir /stage/linux
# mount -o loop /stage/Enterprise-R5-U3-Server-i386-dvd.iso /stage/linux
# service nfs start
# exportfs *:/stage/linux

=> Virtual Machines
=> Create Virtual Machine
1.) Creation Method
Create from installation media
2.) Server Pool
Select Server Pool
3.) Source
Virtual Method: Paravirtualized
Resource Location: nfs:192.168.5.1:/stage/linux
4.) Virtual Machine Information
Virtual Machine Name: ovmrac1
Operating System: Oracle Enterprise Linux 5
Number of Virutal CPUs: 1
Keyboard Layout: German
Memory Size (MB): 1536
Virtual Disk Size (MB): 16384
Console Password: <pwd>
Confirm Console Password: <pwd>
Enable High Availability: No
VIF0 => xenbr0
VIF1 => xenbr1
5.) Confirm

# vncviewer &
localhost:0

> English <OK>
> de <OK>
> eth0 <OK>
> Enable IPv4 / Manual configuration
> IPv4 Address: 192.168.5.21 / 255.255.255.0 
  Gateway:      192.168.5.1
  Name Server:  192.168.2.1 (Standard Nameserver der Dom0, bei mir war es der Router).
> Next
> Erase Data <YES>
> Remove Linux Partitions and create default layout <Next>
> Erase Data <Yes>
> Grub /dev/xvda <Next>
> Netzwerk:
  eth0  192.168.5.21/24
  eth1  10.10.5.21/24
  Hostname:    ovmrac1
  Gateway:     192.168.5.1
  Primary DNS: 192.168.2.1 (Standard Nameserver der Dom0)
> Timezone <Europe/Berlin> <Next>
> PWD
> Software Default <Next>
> Next
> Reboot

> Forward
> Agree <Forward>
> Firewall Disabled <Forward>
> SELinux Disabled <Forward>
> NTP konifgurieren, falls im Netz vorhanden
> Username weglassen (zumindest nicht oracle anlegen, diesen legen wir später mit dem oracle-validated an).
> Forwared
> Finish

Klonen des Zweiten RAC Knotens

Den zweiten RAC Knoten könnte man nun gleich anlegen, wir werden aber nun das erste Gastsystem einfach Klonen. Dazu muss das zu klonende System allerdings gestoppt werden (Power Off). Das Klonen findet man bei "More Actions": Allerdings bekommt das geklonte System die Nummer 0. Dies kann man aber einfach umbenennen.

Bei geklonten Rechnern wären die Netzwerkeinstellungen gleich wie beim Primärknoten, deswegen hat der geklonte Rechner nach dem Starten kein richtiges Netzwerk. Nun gibt es zwei Möglichkeiten:

Ändern der Netzeinstellungen nach dem Startup:

# system-config-network

# rm -rf /etc/sysconfig/network/devices/*.bak
# rm -rf /etc/sysconfig/network/profiles/default/*.bak

# mkdir /tmp/mnt
Mounten einer Physical Partition mit Hilfe von lomount:
# lomount -t ext3 -diskimage /OVS/running_pool/XX_ovmrac2/System.img /mnt/tmp
Mounten einer LVM Partition
# losetup -f
/dev/loop2
# losetup /dev/loop2 /OVS/running_pool/XX_ovmrac2/System.img
# kpartx -av /dev/loop2
# vgscan
# vgchange -ay VolGroup00
# lvs
# mount /dev/VolGroup00/LogVol00 /tmp/mnt
Nun kommen die eigentlichen Änderungen der Netzwerk Einstellungen:
# vi /mnt/tmp/etc/sysconfig/network (Hostname)
# vi /mnt/tmp/etc/sysconfig/network-scripts/ifcfg-eth0 (MAC,IP-Adresse)
# vi /mnt/tmp/etc/sysconfig/network-scripts/ifcfg-eth1 (MAC,IP-Adresse)
# vi /mnt/tmp/etc/resolv.conf (Nameserver)
Unmounten der Partition
# umount /tmp/mnt
Weitere Schritte notwendig bei einer LVM Partition
# vgchange -an VolGroup00
# kpartx -d /dev/loop2
# losetup -d /dev/loop2

Platten für OCR/Voting Disk und ASM

Über den Punkt Resources => Shared Virtual Disk => Create Shared Virutal Disk legen wir die Platten für OCR/Voting Disk und ASM an. In meinem Beispiel nehme ich nur 1 Platte mit 1024MB für OCR und Voting Disk und 1 Platte mit 4096 MB für ASM. Die Screenshots zeigen nur das Anlegen der OCR/Vote (fü eine größere Ansicht auf die Screenshots klicken): Nach dem Anlegen der Platten muss ich diese noch der VMs zuordnen: Nun können die VMs gestartet werden (Power On). Was nun folgt ist eigentlich eine Standard RAC Installation.

RAC Installation

Da es genügend Quellen für eine RAC Installation gibt, beschränkt sich dieser Abschnitt auf das Wesentliche. Es werden auch keine Screenshots mehr angezeigt.

1.) Anpassen der /etc/hosts in beiden Gastsystemen (DomU), diese Einträge sollte man natürlich auch in der Dom0 vornehmen:

# vi /etc/hosts

127.0.0.1     localhost.localdomain   localhost

192.168.5.21  ovmrac1
192.168.5.22  ovmrac2

10.10.5.21    ovmrac1p
10.10.5.22    ovmrac2p

192.168.5.41  ovmrac1v
192.168.5.42  ovmrac2v

# chkconfig --level 345 cpuspeed off
# chkconfig --level 345 sendmail off

# cd /etc/yum.repos.d
# wget http://public-yum.oracle.com/public-yum-el5.repo
# vi public-yum-el5.repo

[el5_u3_base]
name=Enterprise Linux $releasever U3 - $basearch - base
baseurl=http://public-yum.oracle.com/repo/EnterpriseLinux/EL5/3/base/$basearch/
gpgkey=http://public-yum.oracle.com/RPM-GPG-KEY-oracle-el5
gpgcheck=1
enabled=1

# cd 
# wget http://oss.oracle.com/el5/oracle-validated/oracle-validated-1.0.0-5.el5.i386.rpm
# yum install oracle-validated-1.0.0-5.el5.i386.rpm

# modprobe hangcheck-timer  hangcheck_tick=1 hangcheck_margin=10 hangcheck_reboot=1

# vi /etc/sysctl.conf
# net.core.rmem_default=4194304
# xen.independent_wallclock=1

Neuladen der Kernelparameter
# sysctl -p

# usermod -g oinstall -G dba oracle

# fdisk /dev/xvdb
n
p
1
<ENTER>
+280M
n
p
2
<ENTER>
+280M
w

# fdisk /dev/xvdc
n
p
1
<ENTER>
<ENTER>
w

# vi /etc/udev/rules.d/99-oracle.rules

KERNEL=="xvdb1", OWNER="root", GROUP="oinstall", MODE="0640", SYMLINK="ocr"
KERNEL=="xvdb2", OWNER="oracle", GROUP="oinstall", MODE="0640", SYMLINK="vote"
KERNEL=="xvdc1", OWNER="oracle", GROUP="dba", MODE="0660", SYMLINK="asm"

# udevcontrol reload_rules
# start_udev

Auf dem zweiten Knoten (nachdem wir ebenfalls die UDEV Regeln angepasst haben muss nun nur die Partitionstabelle ausgelesen werden
partprobe /dev/xvd*

Auf beiden Knoten
$ mkdir .ssh
$ chmod 700 .ssh
$ ssh-keygen
$ <ENTER>
$ <ENTER>
$ <ENTER>

Von Knoten 1
$ cat .ssh/id_rsa.pub >>.ssh/authorized_keys
$ scp .ssh/authorized_keys <node2>:.ssh/.
$ cat .ssh/id_rsa.pub >>.ssh/authorized_keys
$ scp <node2>:.ssh/authorized_keys .ssh/.

Die folgenden Befehle sollten danach von beiden Knoten ohne Eingaben laufen:
$ ssh <node1> date
$ ssh <node2> date

In der Dom0
# mkdir /stage/oracle
# mount -o loop Ora11gLinx86.iso /stage/oracle
# service nfs start
# exportfs *:/stage/oracle

In einer DomU
# mkdir /stage
# mount 192.168.5.1:/stage/oracle /stage

Anlegen der Verzeichnisse für Oracle Installation:
# mkdir /opt/crs
# mkdir /opt/oracle
# chown oracle:oinstall /opt/crs
# chown oracle:oinstall /opt/oracle

# su - oracle

Ausführen von CLUVFY. Normalerweise immer das aktuellste von OTN verwenden:
$ /stage/runcluvfy.sh stage -pre crsinst -n ovmrac1,ovmrac2 -verbose

$ /stage/runInstaller
=> Product
Oracle Clusterware
=> Inventory
Inventory => /opt/oracle/oraInventory
Group => oinstall
=> Home
Name => OraCrs11g
Path => /opt/crs
=> Prerequisites
No Error
=> Cluster Configuration
Name => ovmrac
ovmrac1         ovmrac1p        ovmrac1v
ovmrac2         ovmrac2p        ovmrac2v
=> Network
eth0 => Public
eth1 => Private
=> OCR
External Redundancy
Location => /dev/ocr
=> Voting Disk
External Redundancy
Location => /dev/vote
=> Install

Root.sh sequentiell auf beiden Knoten
# /opt/oracle/oraInventory/orainstRoot.sh
# /opt/crs/root.sh

=> Install Database
=> Enterprise Edition
=> Install Location
Oracle Base => /opt/oracle
Name => OraDb11g
Path => /opt/oracle/product/db
=> Cluster
All Nodes
=> System Prerequisites
GGf Swap Space vernachlässigen
=> Privileged Group
dba
=> Create DB
Install DB Software only

$ . oraenv
ORACLE_SID=ovmrac
ORACLE_HOME=/opt/oracle/product/db

$ netca
=> Cluster congfiguration
=> Select all nodes
=> Listener configuration
=> Add
=> LISTENER (default)
=> TCP (default)
=> 1521 (default)
=> No
=> Finish

$ dbca
=> Oracle Real Application Clusters database
=> Configure Automatic Storage Management
=> Select All
=> Password, Rest Default
=> o.k.
=> Create New DiskGroup
=> Change Disk Discovery Path
=> dev/asm*
=> Disk Group Name, External Redundancy, Select Disk
=> Ergebnis: 1 Mounted Diskgroup
=> Finish

$ dbca
=> Oracle Real Application Clusters database
=> Create Database
=> Select all nodes
=> Custom Database
=> SID
=> Configure Enterprise Manager
=> Passwords
=> Automatic Storage Management
=> Diskgroup auswählen
=> Use Oracle-Managed Files
=> Flashback/Archiving
=> DB Options
=> Memory (Vorsicht bei Use Automatic Memory Management > /dev/shm beachten!)
=> Security
=> Enable automatic maintenance tasks
=> Storage (GGf 1 Redolog pro Thread hinzufügen, da nur 2 Logs pro Thread vorhanden)
=> Create DB/Save Template/Scripts
=> Review + Finish

Nützliche Links und Referenzen

Zurück zur Community-Seite