Holk
Holk - klaster obliczeniowy na procesorach Itanium 2
Parametry
| Typ | Klaster na procesorach Itanium2 |
| Nazwa | Holk |
| Procesory | Intel Itanium 2 Dual Core 1.4 GHz, 12MB L3Cache,
architektura EPIC |
| liczba procesorów | 288 |
| liczba rdzeni | 576 |
| Całkowita pamięć operacyjna | 2304 GB |
| Pamięć dyskowa | 5.8 TB |
| Architektura | klaster maszyn SMP z siecią InfiniBand |
| Sieć |
|
| System operacyjny | Linux |
| Data instalacji/uruchomienia | październik 2003; |
| Historia modernizacji |
|
| Strona producenta | http://www.intel.com/ |
Opis
Klaster zbudowany jest z serwerów (nodów) w architekturze SMP. Każdy nod zawiera po dwa procesory Itanium2, 16 GB pamięci operacyjnej, dysk twardy SCSI o pojemności 36 GB, dwa porty Gigabit Ethernet oraz kartę InfiniBand. Nody są połączone za pomocą 144-portowego przełącznika InfiniBand oraz pojedynczego łącza do przełączników gigabitowych firmy D-Link.
Moduły pracują po kontrolą systemu operacyjnego Debian GNU/Linux 3.1. Do komunikacji używane są biblioteki MVAPICH, LAM-MPI i MPICH.
Klaster jest wykorzystywany głównie do symulacji dużych biomolekuł i fazy skondensowanej na poziomie dynamiki molekularnej oraz kwantowomechanicznym.
Od listopada 2004 w skład klastra holk wchodzi podklaster clusterix złożony z 16 węzłów. Tabela pokazuje parametry zbiorcze całego klastra.
Teoretyczna moc obliczeniowa klastra po rozbudowach i wymianie procesorów wynosi 3225 GFlops.
W listopadzie 2003 holk znalazł sie na liście najszybszych komputerów na świecie TOP500 na pozycji 231.
Korzystanie z holka
- Holk jest klastrem
- Użytkownicy mają możliwość pracy interaktywnej na jedym wyznaczonym nodzie 'holk' (h001). Dostęp do tego noda jest możliwy z komputera kdm.task.gda.pl
za pomocą polecenia
ssh holk
- Nod dostępowy h001 służy do kompilacji, obróbki danych wejściowych i wyjściowych, drobnych testów (do 15 minut)
- Do kompilacji własnych programów należy używać kompilatorów Intel: icc (C), icpc (C++) ifort (Fortran 77/90)
- Programy korzystające z biblioteki BLAS powinny używać MKL
- Do kompilacji programów równoległych należy używać biblioteki MVAPICH2
- Zadania obliczeniowe na holka można zlecać tylko przez system kolejkowy PBS z h001 lub z kdm
Zmiany po rozbudowie pamięci operacyjnej we wrześniu 2006 r.
Po rozbudowie pamięci każdy nod klastra ma taką samą ilość pamieci operacyjnej: 16 GB. W związku z tym zbędne staje się korzystanie z zasobu 'm' w systemie kolejkowym. Informacja dla użytkowników niektórych programów równoległych: Rozmiar bloku pamięci współdzielonej na każdym nodzie został zwiększony do 4 GB .
Zmiany po wymianie procesorów w lutym 2007 r.
Procesory zostały wymienione na dwurdzeniowe, oznacza to, że na jedym nodzie dostępne są 4 rdzenie obliczeniowe traktowane przez system kolejkowy jako 4 osobne procesory.
Wskazana jest zmiana specyfikacji zasobów dla zadań zlecanych przez PBS z ppp=2 na ppn=4, np. w skryptach
#PBS -l nodes=4:ppn=2
na
#PBS -l nodes=2:ppn=4
W przypadku dużego zapotrzebowania na pamięć operacyjna na jeden proces zwiększanie ppn, może nie być korzystne.
Należy zwrócić uwagę na ewentualne zmiany skalowalności obliczeń. Przy zachowaniu tej samej liczby nodów zwięszkenie ppn spowoduje, że zadanie będzie działać na dwa razy większej liczbie procesorów. Może sie okazać konieczne dobranie inne liczby nodów.