LINUX-Cluster von DELTA - Beispielkonfiguration
 
Technische Highlights
 
Anzahl Knoten
Anzahl CPUs
Anzahl Cores
274
548
2192		 Standort Manching
bei Ingolstadt
Prozessor Intel Xeon E5530, 2,4 GHz
(Intel Nehalem) 		OS Linux, CentOS 5.3
Knoten DELTA D20-2x-M1 MPI open MPI
Front End 2x DELTA D20x-M2

Cluster
Management

 DELTA,
inkl. KVM Netzwerk
High Speed
Interconnect		 Mellanox InfiniBand Kühlung Luft, bis 25 Grad
Umgebungstemperatur
InfiniBand Switch 288 Port InfiniBand Switch
 Anwendung

Flugphysik
Gigabit Switch 384 1G Ports
mit 6x 10G Uplink
(Stack aus 8 Switches, Ring-Konfig.)
Strom-
verbrauch
 ca. 85 kW
Lustre File System,
exportiert über
InfiniBand		 2x MDS (Metadaten Server)
3x OSS (Object Storage Server)
5x OST (Object Storage Target)
Infortrend 8Gigabit RAID6 mit 16x 1TB
SAS Disks (insgesamt 80x 1TB SAS).		    
NFS File System,
exportiert über 1G/10G
Ethernet/Uplink
 2x File Server für NFS
mit zwei 8Gigabit Infortrend Systemen
mit insgesamt 48x 1TB SAS Disks
Der File Server exportiert auch das Lustre
Dateisystem über NFS an Klienten, die
Lustre nicht unerstützen.		 SAN Switches 2x QLogic Sanbox mit insgesamt 40 8GBit-FC
Ports, redundante Pfade
zu den OSTs.

 
 
 

 
         
  Die 274 Cluster Knoten sind in der rechten Schrankreihe untergebracht, weitere Knoten sowie die Speicher Subsysteme für Lustre und NFS befinden sich in der linken Schrankreihe.

Die warme Luft wird in den Gang in der Mitte geblasen und von oben abgesaugt.		  
Über den InfiniBand Switch mit 288 Ports läuft die gesamte MPI Kommunikation sowie der Zugriff auf das parallele File System Lustre.
(Oben im Bild: 22 Rechenknoten in 11 Twin Chassis)

Neben den 274 Knoten und den Lustre File Servern ist ein weiterer IB Switch mit 144 Ports an den grossen Switch angeschlossen.
 
         
     
         
 
Redundante 8-Gigabit Fibre Channel Pfade führen von den Object Storage Servern über zwei Qlogic FC Switches mit jeweils 20 8-Gigabit Ports zu den Object Storage Targets.

Die Object Storge Targets haben 2 8-Gigabit FC-Ports und sind mit jeweils 16x 1TB SAS Platten ausgestattet.
Unten im Bild der IB Switch von hinten, man sieht eigentlich nur die Kabel.

Die 274 Compute Nodes (137 Twin Chassis) sind wie folgt angeschlossen:

MPI und Lustre über InfiniBand
(schwarze Kabel)
ssh, NFS etc über Gigabit Ethernet
(rote Kabel)
KVM o. IP und IPMI
(blaue Kabel)
  
   
  DELTA Computer Products GmbH - Röntgenstr. 4 - 21465 Reinbek bei Hamburg - Tel.: 040 / 300 672 - 0, Fax: -11
E-Mail: info@DeltaComputer.de - www.DeltaComputer.de

Version zum Ausdrucken