NFS File System,
exportiert über 1G/10G
Ethernet/Uplink
2x File Server für NFS
mit
zwei 8Gigabit Infortrend Systemen
mit insgesamt 48x 1TB SAS Disks
Der File Server exportiert auch das
Lustre
Dateisystem über NFS an Klienten, die
Lustre nicht unerstützen.
SAN Switches
2x QLogic Sanbox
mit
insgesamt 40
8GBit-FC
Ports,
redundante
Pfade
zu den OSTs.
Die 274 Cluster Knoten sind in der rechten Schrankreihe untergebracht, weitere Knoten sowie die Speicher Subsysteme für Lustre und NFS befinden sich in der linken Schrankreihe.
Die warme Luft wird in den Gang in der Mitte geblasen und von oben abgesaugt.
Über den InfiniBand Switch mit 288 Ports läuft die gesamte MPI Kommunikation sowie der Zugriff auf das parallele File System Lustre.
(Oben im Bild: 22 Rechenknoten in 11 Twin Chassis)
Neben den 274 Knoten und den Lustre File Servern ist ein weiterer IB Switch mit 144 Ports an den grossen Switch angeschlossen.
Redundante 8-Gigabit Fibre Channel Pfade führen von den Object Storage Servern über zwei Qlogic FC Switches mit jeweils 20 8-Gigabit Ports zu den Object Storage Targets.
Die Object Storge Targets haben 2 8-Gigabit FC-Ports und sind mit jeweils 16x 1TB SAS Platten ausgestattet.
Unten im Bild der IB Switch von hinten, man sieht eigentlich nur die Kabel.
Die 274 Compute Nodes (137 Twin Chassis) sind wie folgt angeschlossen:
MPI und Lustre über InfiniBand
(schwarze Kabel)
ssh, NFS etc über Gigabit Ethernet
(rote Kabel)
KVM o. IP und IPMI
(blaue Kabel)
