|
MisterY
aus der Finsternis
offline
OC God
18 Jahre dabei !
AMD Athlon II
2800 MHz
42°C mit 1.4 Volt
|
     
hi,
ich möchte mir einen Cluster aufbauen. Ja, wozu denn eigentlich? 1. möchte ich da gerne BOINC drauf laufen lassen, 2. Videos mit bearbeiten (selbst aufgenommene, also Daten jenseits der 100GB) bzw rendern lassen und 3. später auch Klima-/Wettermodelle berechnen lassen.
An hardware habe ich an 2-4 AMD Quadcores mit 45W TDP gedacht und jeweils 2GB Ram vorerst. da denke ich mal nicht viel festplattenaktivität erforderlich ist, wollte ich jeweils einen 8GB USB-Stick verbauen.
also hardwaremäßig sehe ich eher kein problem, aber: software....welches OS kann man da nehmen? wie kann ich die berechnung der einzelnen WUs oder der Filmdatei auf den Cluster verteilen? am liebsten wäre mir ein klicki-bunti betriebssystem, also auf jedenfall ein programm auf dem (normalen) Hauptrechner, wo ich dann auswählen kann, an welchen rechner es geleitet werden soll.
was kann man da machen? Linux mag mich nicht, es will nie so laufen wie ich es will...
|
Beiträge gesamt: 5438 | Durchschnitt: 1 Postings pro Tag
Registrierung: Jan. 2006 | Dabei seit: 6688 Tagen | Erstellt: 0:32 am 17. Juli 2011
|
|
|
|
MisterY
aus der Finsternis
offline
OC God
18 Jahre dabei !
AMD Athlon II
2800 MHz
42°C mit 1.4 Volt
|
also erstmals sollen da nur Boinc und ein Videobearbeitungsprogramm drauf laufen.
das mit dem Videobearbeitungsprogramm habe ich mal SO gesehen und so will ich das auch machen:
auf "normalen" PC das Video erstellen, schneiden, verbessern. dann die rohdatei auf Cluster-"Verteiler" packen, mit ner Festplatte oder gar SSD. der verteilt die Rohdaten dann an 2-3 weitere cluster, die über KEINE festplatte verfügen.
natürlich soll das nicht in einen Ikea-Rollcontainer sondern in ein 19" serverschrank  aber mir der Software haperts bisher noch was. welche software ist dafür geeignet, wie installier ich die, und, was am wichtigsten ist, wie benutze ich die? ich habe bisher nur windows-erfahrungen. zwar auch ein klein wenig linux, aber das will nie wie ich will...
achja: CUDA oder ATI-Stream wäre natürlich auch nice
(Geändert von MisterY um 13:43 am Juli 17, 2011)
|
Beiträge gesamt: 5438 | Durchschnitt: 1 Postings pro Tag
Registrierung: Jan. 2006 | Dabei seit: 6688 Tagen | Erstellt: 13:29 am 17. Juli 2011
|
|
|
|
|
|
|
|
|
|
MisterY
aus der Finsternis
offline
OC God
18 Jahre dabei !
AMD Athlon II
2800 MHz
42°C mit 1.4 Volt
|
oh wie schade 
ne war mir (leider) schon klar
wäre cool, wenn ihr mir dabei ein bisschen helfen könntet, da ich wie gesagt noch nicht viel ahnung mit linux habe.
Ich sag euch mal, wofür der Cluster gebraucht werden soll:
Der soll für eine Naturforschende Gesellschaft sein und der soll Leistung für alle authorisierten Mitglieder bieten, die (z.T.) nicht wirklich viel Ahnung von Linux haben (neben mir  )
Dabei soll der z.B. zum Stacken von Astronomie- oder Mikroskopbilder (das können z.T. bis zu 1000 Bilder werden - Pro Serie versteht sich. Also 1000 Bilder müssen überlagert werden), Filmbearbeitungen und klima modelle erstellen, z.T. aus historischen Aufzeichnungen (kennt da jemand ne software für die erschwinglich oder gar umsonst ist?) oder um zu Rendern oder Filme zu erstellen verndet wrden.
Eine "grafische" Oberfläche ist auf jedenfall von Nöten. also dass die sich mit ihrem oder einer Workstation "einloggen" können und ihre Rohdaten auf den Cluster verteilen können (bzw. der Cluster es von alleine verteilt). So nach dem Motto "Bilder auswählen, operation auswählen ("Stacken"), an cluster senden, cluster rechnet, gibt ergebnis auf der workstation wieder aus" wäre schon toll. Kann man den auch irgendwie so programmieren, dass der die nicht benötigte hardware deaktiviert, also IDLE stellt und dann hochfährt wenn jemand die leistung braucht? Denn ich spiele mit dem Gedanken, einen von den Servern noch zusätzlich als Web-, Backup- und Datenserver laufen lasse. Natürlich muss ich mir dann auch gedanken um die Sicherheit machen, will ja nicht, dass irgendein Kellerkind 6TFlops als Botnetz missbraucht Die drei weiteren Server/Cluster sollen nicht ans netz bzw. nur zu Fernwartungszwecken.
Die Hardware hat noch zeit, da die Naturforschende Gesellschaft noch in den Kinderschuhen steckt. Aber angepeilt wird eine rechenleistung von etwa 6TeraFlops (4* AMD Quadcore (16 Cores; ~72GFlops) + 4* HD6850 (~6000GFlops); wenn nicht gar 8 Grafikkarten). Die Zahl von Rechnern ist aufgrund des schon vorhandenen Servergehäuses auf 4 4HE begrenzt. sollte natürlich so günstig wie möglich sein.
|
Beiträge gesamt: 5438 | Durchschnitt: 1 Postings pro Tag
Registrierung: Jan. 2006 | Dabei seit: 6688 Tagen | Erstellt: 0:21 am 18. Juli 2011
|
|
fuUser
offline
OC Newbie
12 Jahre dabei !
Intel Xeon
|
Ich glaube du verkennst die Komplexität dieser Aufgabe etwas.
Es gibt zwei Prinzipielle Ansätze für "verteiltes Rechnen":
Shared-Memory-Systeme (im Prinzip immer NUMA-Architektur), bei denen alle Rechner virtuell zu einer logischen Maschine zusammengefasst werden. D.h die Software sieht einfach nur alle CPUs und den ganzen RAM usw als wenn sie in einem Rechner stecken würden. Theoretisch kann man darauf dann ein 'normales' OS installieren und seine normalen Anwendungen laufen lassen. Für solche Systeme gibt es auch Zeug von MS, das sich mehr oder weniger wie ein normaler Windows-Server bedienen lässt.
Nachteil der ganzen Sache ist, dass die Verbindung zwischen den physischen Systemen immer zum Flaschenhals wird, sowohl in Bandbreite als auch Latenz. Wenn eine CPU in Rechner A also Daten aus dem RAM von Rechner X braucht, dann dauert der Transfer 'ewig'.
Streng genommen ist auch schon eine aktuelle Dual-Sockel Xeon oder Opteron Maschine ein NUMA-System, da der Speicher direkt an die CPUs angebunden ist, also es etwas länger dauert, wenn eine CPU an Speicher muss, der an der anderen CPU hängt. Da es aber nicht über ein klassisches Netzwerk läuft, fällt das nicht so arg ins Gewicht.
Wenn die Software also nicht für NUMA-Systeme gemacht ist, dann ist die Performance bei wirklich verteilten Systemen aber recht schlecht, meist schlechter als Ausführung auf einem einzelnen Rechner allein.
Die meisten "professionellen" Systeme arbeiten nach dem Prinzip und es gibt für (fast) jeden Zweck bereits die passende Anwendung (kommerziell wie auch teilweise open source).
Dann gibt es Nicht-Shared-Memory-Systeme, also ganz einfach eigenständige Rechner, die irgendwie zusammenarbeiten. Das macht z.B. dieses Condor, Seti@Home oder auch Google usw. Hier muss aber die Anwendung, die das System nutzen soll, speziell auf die Koordinierungssoftware angepasst werden. Außerdem muss sich natürlich auch die Aufgabe so aufteilen lassen, das die Rechner niemals Daten direkt aus der Berechnung von anderen Rechnern brauchen, die Einzelaufgaben also völlig unabhängig sind. Das wird oft von Universitäten usw eingesetzt, wenn sie sich kein NUMA-System leisten können/wollen. Dort ist es auch besser einzusetzen, da die Berechnungssoftware meist direkt an der Uni oder einer anderen mit ähnlichem System geschrieben wurde und daher gleich dafür ausgelegt ist.
Mir scheint du hast (übertrieben gesagt) so die Vorstellung, dass du dir einfach ein paar Rechner in die Ecke stellst, da Software Y installierst und nun auf magische Weise alle möglichen Anwendungen plötzlich verteilt auf allen Rechnern läuft. Das kannst du einfach vergessen.
Wenn ihr "nicht so viel Ahnung" habt, dann gehe ich mal davon aus, dass ihr nicht eure eigenen Anwendungen schreibt und eher irgendwas "of the shelf" einsetzen wollt. Daher kommt eigentlich nur ein NUMA-System in Frage. Mit wenig Expertise, wenig Manpower, "minimal" Budget und endlichem Zeitaufwand kannst du einen Cluster aus mehreren Standardrechnern vergessen. Standardrechner rauchen dir auch schneller ab als richtige Server, besonders ohne die richtige Kühlung usw.
Die blauäugige Rechnung mit den 6TFlops kannst du auch knicken, besonders wenn sie zum Großteil aus Grafikkarten besteht. Die real nutzbare Leistung, besonders mit double precision ist weit niedriger. Auch sind die Standard-Karten sowohl im Treiber als auch in der Hardware bei GPGPU Sachen reichlich beschnitten und haben recht wenig Speicher. Nvidia und AMD wollen schließlich ihre überteuerten Quattro, FireGL, Stream usw Versionen verkaufen. Wir versuchen immer mal wieder auf 'normale' Karten umzusteigen und die sind bei gleichem "basis" Chip und Frequenzen oft nur halb so schnell...
Mein wirklich erst gemeinter Tipp ist entweder sich einer Organisation mit Know-How und Ausstattung gegen etwas Querfinanzierung anzuschließen (z.B. Universitäten, die auch meist recht offen für solche Sachen sind) oder sich vom Serverhersteller deiner Wahl ein kleines 4HE pseudo NUMA System zu besorgen. Also ein einzelner "großer" Rechner mit z.B. 4 o. 8 Sockeln. Darauf ein "klicki Bunti" OS (Linux mit X, wenn es sein muss auch Windows). Auf so einer Kiste laufen dann auch normale Multicore Anwendungen ganz akzeptabel.
Als erstes sollte dir aber ganz genau klar sein welche Anwendungen darauf laufen sollen und was für verteilte Systeme die unterstützen.
Trotzdem viel Glück mit dem Projekt 
|
Beiträge gesamt: 57 | Durchschnitt: 0 Postings pro Tag
Registrierung: Aug. 2011 | Dabei seit: 4633 Tagen | Erstellt: 21:01 am 19. Aug. 2011
|
|
|
|
|
|
