Oracle Exadata Database Machine X2-8 Hardware

Exadata Community - Februar 2012

von Frank Schneede, ORACLE Deutschland B.V. & Co. KG

Die Produktfamilie der Engineered Systems umfasst verschiedene Exadata Modelle, die für die unterschiedlichsten Kundenszenarien geeignet sind. Das zuerst vorgestellte und von der Prozessorleistung kleinere Modell Exadata Database Machine X2-2 wurde bereits in einem Community Tipp ausführlich beschrieben. Zur Oracle Open World 2010 wurde das aktuelle Top-Modell, die Exadata Database Machine X2-8 vorgestellt, das im Dezember 2011 eine Aktualisierung der in den Datenbank Servern verbauten Prozessoren erfahren hat.

Wie bereits der letzte Community Tipp zur Exadata Database Machine X2-2 soll auch dieser Tipp als Nachschlagewerk dienen, das den aktuellen Stand der Hardware der Exadata Database Machine X2-8 beschreibt.

Exadata Systeme zeichnen sich dadurch aus, dass mit dieser Technologie ein bedarfsgerechtes Wachstum der Systeme möglich ist. Das bedeutet, dass ein Kunde mit der kleinsten Ausbaustufe, der Exadata Database Machine X2-2 Quarter Rack, beginnen kann und die Maschine entsprechend dem Wachstum des Datenvolumens bzw. der Abfragelast mit Hilfe von Upgrade Kits erweitert. Natürlich gibt es auch Kundensituationen, in denen von Anfang an ein leistungsstärkeres Modell eingesetzt werden muss. Wenn zum Beispiel bei hohen Anforderungen an CPU und Hauptspeicher das Datenvolumen von vornherein so hoch ist, dass das Top-Modell der X2-2 Baureihe nicht ausreicht, kann man zur Exadata Database Machine X2-8 greifen. Wie der Modellname ausdrückt, handelt es sich hierbei um ein 8 Socket System, das pro Datenbank Server über insgesamt 8 Intel x86 Prozessoren verfügt. Dieser Tipp befasst sich mit der Exadata Database Machine X2-8 und gliedert sich in folgende Abschnitte:

Exadata Storage Server X2-2
Datenbank Server
Netzwerk Komponenten
Sonstige Hardware
Technische Daten

1. Exadata Storage Server X2-2

Der Exadata Storage Server X2-2 ist der entscheidende Baustein der Exadata Storage Technologie und wird daher baugleich in allen Modellen der Exadata Database Machine, dem Oracle SPARC SuperCluster und im Exadata Storage Expansion Rack verwendet. Auf dem Exadata Storage Server X2-2 läuft die Exadata Storage Server Software, ohne die die I/O Leistung der Engineered Systems nicht möglich wäre.

Der aktuelle Aufbau des Exadata Storage Server X2-2 ist in diesem Community Tipp ausführlich beschrieben worden.

2. Datenbank Server

Die Modelle der Exadata Database Machine unterscheiden sich im Wesentlichen durch den Typ des Datenbank Servers, der in dem jeweiligen Modell zum Einsatz kommt. In der Exadata Database Machine X2-8 werden 8 Sockel Datenbank Server mit Intel x86 Architektur verwendet. Der hierfür eingesetzte Standard Server ist der Sun Fire X4800 M2. Die folgende Tabelle zeigt die Komponenten des Servers.

Komponente	Beschreibung
Prozessor	8 * Ten-Core Intel® Xeon® E7 8870 Processors (2.40 GHz)
Hauptspeicher	2 TB (128 * 16GB DDR3 DIMM 1066MHz)
lokale Festplatten	8 * 300GB 10K RPM SAS Disks (hot-swappable)
Festplatten Controller	Disk Controller HBA with 512MB Battery Backed Cache
Netzwerkanschlüsse	8 * InfiniBand 4X QDR (40Gb/s) Ports (4 Dual-port PCIe 2.0 Express Modules) 2 * Network Express Modules (NEM) mit insgesamt 8 * 1GbE Ethernet Ports 8 * 10GbE Ethernet SFP+ Ports (via 4 Fabric Express Modules (FEM) based on the Intel 82599 10GbE Controller Technology)
Remote Management	1 Ethernet port (ILOM)
Stromversorgung	Redundant Hot-Swappable power supplies and fans

An Vorder- und Rückseite des Servers befinden sich Statusanzeigen, die über den Zustand des Systems Auskunft geben. Der Aufbau des Systems ist modular, das bedeutet, dass jeweils eine CPU und 16 DDR3 Speicherbausteine in einem CPU Module (CMOD) zusammengefasst sind. Jedes der insgesamt 8 CMODs verfügt über eigene Statusanzeigen. Wie bereits beim Exadata Storage Server sind auch im Datenbankserver der Exadata Database Machine X2-8 Festplatten, Stromversorgungen und Lüfter während des laufenden Betriebes austauschbar. Die folgenden Bilder zeigen die Vorder- und die Rückseite des Sun Fire X4800 M2.

Vorderseite:	Rückseite:
Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!	Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!

Auf den Datenbank Servern der Exadata Database Machine X2-8 stehen zwei Betriebssystemalternativen zur Verfügung. Es kann Solaris 11 Express for x86 oder Oracle Enterprise Linux 5.5 genutzt werden. Die auf der X2-8 verwendete Linux-Variante verwendet den Unbreakable Kernel. Der Unbreakable Kernel verfügt gegenüber dem Red Hat Kompatiblen Kernel über einige Verbesserungen. Insbesondere die Performance in den Bereichen Memory, Netzwerk, I/O und für große NUMA (Non-Uniform Memory Access) Systeme wurde verbessert:

Unterstützung des aktuellen InfiniBand Software Stacks (OFED 1.5.1). Die wesentliche Erweiterung ist hier die Unterstützung von RDMA (Remote Direct Memory Access), das eine besonders effiziente Inter-Prozesskommunikation ermöglicht, da keine Buffer-Kopien erstellt werden müssen.
Verbesserungen im RDS (Reliable Datagram Socket) Stack. RDS bildet die Basis für das iDB Protokoll, das zur Kommunikation zwischen Datenbank Servern und Storage Servern eingesetzt wird. Hohe Geschwindigkeit bei geringer Latenz zeichnen das Protokoll aus und bildet so die Basis für die Systemperformance der Exadata Produkte.
Verbesserungen der Netzwerkperformance durch RPS (Receive Packet Steering) und RFS (Receive Flow Steering). RPS bringt insbesondere bei hoher Last Vorteile, da die Last für die Verarbeitung von Netzwerk-Paketen zwischen mehreren CPUs verteilt werden kann. Auf diese Weise wird sichergestellt, dass kein Bottleneck entsteht, indem nur eine einzelne dedizierte CPU Netzwerk Interrupts verabeiten muss.
RFS ist eine Erweiterung von RPS und dient dazu, dass die Verabeitung von Netzwerk Paketen koordiniert und parallel geschieht. Das bedeutet, dass anstelle einer reinen IP/Port Zuordnung eine Zuodnung zur Anwendung geschieht, von der die Netzwerkpakete kommen. Gesendete und empfangene Pakete, die durch Systembefehle einer Anwendung angefordert werden, werden von derselben CPU verarbeitet. Die sogenannte CPU Lokalität optimiert den Kommunikationsaufwand und vermeidet so eine negative Auswirkung auf die Performance.
Die Performance von NUMA Systemen mit vielen CPUs bzw. CPU Kernen wurde durch Verbesserungen in der internen Behandlung von Interrupts und Semaphoren gesteigert. Durch das Feature I/O Affinität werden Bestätigungsmeldungen für I/O Requests zu der CPU geleitet, die den Request zursprünglich gesendet hat.
Die Performance von Asynchronous Writebacks wurde verbessert. Asynchronous Writebacks sind Schreibprozesse, die geänderte Blöcke aus dem Linux Kernel Page Cache auf die Festplatte übertragen.

Der Unbreakable Kernel wird bislang ausschließlich auf den Datenbank Servern der Exadata Database Machine X2-8 verwendet, da die darin verwendeten Server besonders von den Verbesserungen im Unbreakable Kernel profitieren. Details zum Unbreakable Kernel beschreibt ein Technisches Whitepaper im Oracle Technology Network.

Die Festlegung des gewünschten Betriebssystems erfolgt während der Implementierung der Exadata. Danach kann das Betriebssystem nur durch ein Re-Imaging, also ein vollständiges Neuaufsetzen der Server, geändert werden!

Im Sun Fire X4800 M2 befinden sich 8 lokale 300GB SAS Festplatten, die für das Betriebssystem und Anwendungssoftware (Oracle, Monitoring Agents, Backup Agents) genutzt werden. Zum Einsatz kommt standardmäßig Oracle Database 11g Release 2 Enterprise Edition (11.2.0.2 oder 11.2.0.3), Oracle Real Application Clusters und Oracle Partitioning. Andere Oracle Datenbank Optionen (z. B. Advanced Compression, Active DataGuard, ...) können nach Bedarf ebenfalls genutzt werden. Sinnvollerweise wird im Rahmen der Installation auch der Oracle Enterprise Manager Cloud Control Agent aufgesetzt, um eine einheitliche Adminstration über Enterprise Manager Cloud Control zu ermöglichen. Die Installation weiterer Software (Backup Agents o. ä.) liegt in der Zuständigkeit und Verantwortung des Kunden. Es ist nicht erlaubt, weitere Anwendungssoftware auf den Datenbank Servern zu installieren. Für diesen Zweck sollten separate Applikationsserver eingerichtet werden, das kann zum Beispiel auch die Oracle Exalogic Elastic Cloud sein.

3. Netzwerk Komponenten

In der Exadata Database Machine X2-8 werden die gleichen Netzwerkkomponenten eingesetzt wie in der Exadata Database Machine X2-2. Die aktuell verwendeten Netzwerk Komponenten können Sie diesem Community Tipp entnehmen.

4. Sonstige Hardware

Die einzige zusätzliche Komponente der Exadata Database Machine X2-8 ist ein Cisco Catalyst 4948 (48) Port Management Switch, der alle verbauten Server und InfiniBand Switches an ein internes 1GbE Administrations- und Management-Netzwerk anschließt. Vom Switch sind 35 Ports belegt, 16 werden für ILOM Verbindungen verwendet, 16 für die NET0 Verbindungen und 3 Ports werden für die ILOM Verbindung zu den InfiniBand Switches benötigt. Der Cisco Switch kann über die verbleibenden freien Ports in das kundeneigene Administrations-Netzwerk eingebunden werden.

KVM Komponenten sind in der Exadata Database Machine X2-8 nicht vorhanden, da die beiden eingebauten Datenbank Server so hoch sind, dass keine freien Höheneinheiten zur Verfügung stehen. Aus diesem Grunde muss die Einrichtung des Systems über eine Remote Console erfolgen. Gleiches gilt natürlich auch für Wartungsarbeiten am System, die einen direkten Zugriff auf die Hardware erforderlich machen.

Die einzige Hardware Modifikation, die der Kunde an der Exadata Database Machine durchführen darf, ist der Austausch des Cisco Switches. Das kann sinnvoll sein, falls der Kunde standardmäßig auf Produkte eines anderen Herstellers setzt.

5. Technische Daten

Die Exadata Database Machine X2-8 gibt es im Gegensatz zur Exadata Database Machine X2-2 nur als Full Rack, bestehend aus 2 Datenbank Servern, 14 Storage Servern und 3 InfiniBand Switches. Erweiterungen können nur durch Hinzufügen weiterer Full Racks vorgenommen werden, bis zu 8 Full Racks könne ohne zusätzliche Hardware zu einem Cluster zusammengefasst werden.

Zum Abschluss sind in der folgenden Tabelle die Kenndaten der Exadata Database Machine X2-8 in Bezug auf Kapazität und Durchsatz aufgelistet. Die Exadata Database Machine X2-2 im Vollausbau dient dem Vergleich.

X2-8 Full

X2-2 Full

Abbildung

Für eine größere Ansicht
auf das Bild klicken,
zurück zum Artikel mit dem
Back-Button des Browser!

Database Server

Database Grid CPU Cores

160

Database Grid Memory

4TB

768GB (max. 1152GB)

InfiniBand Switches

Ethernet Switch

Storage Server

Storage Grid CPU Cores

168

Flash Kapazität

5,3TB

Gesamt Storage
Kapazität