Cluster/verteilte Rechenleistung

- OCinside.de PC Forum
https://www.ocinside.de

-- Software
https://www.forum-inside.de/forums.cgi?forum=17

--- Cluster/verteilte Rechenleistung
https://www.forum-inside.de/topic.cgi?forum=17&topic=8686

Ein Ausdruck des Beitrags mit 39 Antworten ergibt bei 3 Antworten pro Seite ca. 13 DIN A4 Seiten. Das entspricht bei 80 g/m² ca. 64.86 Gramm Papier.


-- Veröffentlicht durch MisterY am 20:23 am 3. Dez. 2008

aber das wäre mir zuviel rumgeklicke :lol:


-- Veröffentlicht durch rage82 am 19:59 am 3. Dez. 2008

der thread ist schon länger und wahrscheinlich stand es schon irgendwo (obwohl es ursprünglich um ne andere thematik=software ging), aber in dem dvd fall wird es dir einfach am meisten bringen:


jeden für sich arbeiten zu lassen, dann sparst du dir die rechenzeit die fürs verteilen usw draufgeht, auf deutsch, jeder für sich wird das schneller erledigen und die stromrechnung kommt dabei auch ein wenig besser weg ;)


-- Veröffentlicht durch MisterY am 19:08 am 3. Dez. 2008

die Rohlinge kriege ich immer geschenkt und ich habe lieber ne Film- DVD als ne Film-Platte

es geht nicht um sinn und unsinn, sondern darum, wie man es realisieren könnte.


und ich weiß wie die quali von 800mb auf DVD ist. finde die sehr gut. da passen sogar 3-5 filme dann drauf


-- Veröffentlicht durch VoooDooo am 16:23 am 3. Dez. 2008

und wozu eigentlich konvertieren? Plattenspeicher kostet nix mehr und irgendwie bekommt man die Filme auch so auf den TV, der ganze Aufwand wärs mir echt nicht wert.


-- Veröffentlicht durch Hitman am 14:03 am 3. Dez. 2008

:lol: Du willst die CPUs und Rechner doch dazu benutzen um Daten umzuwandeln. Da sind die nicht im Idle sondern haben Power. Deshalb brauchen die auch weniger Zeit und verbrauchen daher mehr.

Nur ob du jetzt mit einem 200W PC 1Std brauchst oder mit 2 x 120W 30 Minuten, der eine PC ist immer noch vom Stromverbrauch besser. Zeitlich natürlich nicht.

Ich selbst lass ab und an mein Notebook laufen, das frisst 50W beim umwandeln, brauch zwar 1,5Std aber wenn man surft fällt das eh nicht auf. Außerdem muss ich dann meinen Normal-PC nicht anmachen.

Die 2GB, 800MB Filme willst du doch nicht umwandeln oder? Weil du willst nicht wissen welche Quali dann rauskommt...

PS: Warum in ne DVD konvertieren und dann nochmal brennen? Macht das Sinn? Also ich weiss nicht wies bei dir ist, aber wenn du die DVDs kaufen musst, also Rohlinge, dann bist du wieder einen Batzen Geld los. Von dem Geld kannst du dir evtl. was anderes kaufen, wenn du die Möglichkeit hast es anzuschließen sogar ne Festplatte.


-- Veröffentlicht durch MisterY am 11:33 am 3. Dez. 2008

es sind nicht alle 4GB groß. es sind auch 2gb und 800mb filme dabei. ich habe derzeit 1,5TB und davon sind ca 1,3TB voll mit filmen.

und wieso stromkosten? das sind zwei recht sparsame CPUs die über Cool n Quiet verfügen genauso wie die Grafikkarten.

und da beide dann in EINEM Wasserkreislauf hängen werden, wird der stromverbrauch und hitzeentwicklung zusätzlich eingedämmt ;)


-- Veröffentlicht durch Zenmouron am 8:46 am 3. Dez. 2008

Sorry für OT:

puh, ich hoffe du lässt dir die Stromrechnung gut was kosten^^. Billig dürfte das ganze ja durch sowas nicht werden. Mal davon ab, wie viel speicherplatz hast du? Bei 500 Filmen a 4gb wären das ja pi mal daumen 2Terrabyte, und ich glaube kaum das du nur Filme hast^^.


-- Veröffentlicht durch MisterY am 23:58 am 2. Dez. 2008

was haltet ihr von
ClusterKnoppix?? :noidea: da steht zwar, dass man DVDs nicht rippen kann zu Divx, aber ich will ja auch avi bzw mpegs zu DVDs umwandeln :noidea:

oder was haltet ihr davon??

am viel versprechendsten klingt meiner Meinung nach DVD:RIP

also kurz gefasst: ich will zwei AMD Athlon X2 filmdateien ausm TV aufgenommen (mpg format, ca 4GB groß pro Datei) mit eventueller unterstützung der Grakas (X1900XTX und HD2600XT) auf ne DVD konvertieren (mit Menü etc).

unter windows dauert das mit EINER CPU ca ne stunde und 20 min mit ConvertXtoDVD3. An sich schon schnell, aber problem: ich habe noch ca 500 Filmdateien vor mir (immer wollen die mütter solche klatschsachen aufgenommen haben...) und das würde also 500h dauern. ich würde aber gerne die beiden im Cluster rechnen lassen, was ca 30-50 min pro Film dauert. nun möchte ich das aber so machen, dass z.b. über nacht die beiden PCs sagen wir mal 10 Filme abarbeitet und 10 brennfertige Dateien/Ordner erstellen, die ich dann am nächsten tag einfach nur per nero o.ä. brennen muss.

und da beide Systeme in EINEN WaKü-Kreislauf sollen, wird das ganze auch recht leise und kühl bleiben.



(Geändert von MisterY um 23:59 am Dez. 2, 2008)


-- Veröffentlicht durch masterofavenger am 18:33 am 1. Nov. 2008

versuch mal die condor software.

lässt vorher alles per pxe (netzwerkboot) laden, integrierst condor noch ordentlich, packst gbitlan rein und dann rechnen alle für ein projekt.
allerdings habe ich es noch nicht gemacht, aber das forum dort (englisch) kann dort sehr hilfreich sein ^^


-- Veröffentlicht durch VoooDooo am 17:39 am 1. Nov. 2008

dann machst du dir vorher nen Baldriantee, das sind 5 Min. Dann bist du bei 20 insg. Lohnt also immer noch ;)


-- Veröffentlicht durch MisterY am 17:07 am 1. Nov. 2008

+30min fluchen :lol:


-- Veröffentlicht durch VoooDooo am 14:42 am 1. Nov. 2008

15 Min. maximal ;)


-- Veröffentlicht durch MisterY am 13:49 am 1. Nov. 2008

@Necroz: nein, der PC hier ist über 2 Jahre alt

@Voodoo: das wieder herstellen dauert aber sooooo lange :lol:


-- Veröffentlicht durch VoooDooo am 13:30 am 1. Nov. 2008

Imagesicherung vorher und man kann alles was man will ohne Gefahr ausprobieren.


-- Veröffentlicht durch NecRoZ am 13:08 am 1. Nov. 2008


Zitat von MisterY um 12:54 am Nov. 1, 2008
"never change a running system before you got a new one" :lol:



wow, du gehörst sicher auch zu denen die 50.000€ beim glücksspiel gewonnen haben oder? :lol:


-- Veröffentlicht durch MisterY am 12:54 am 1. Nov. 2008

ich habe nur schlechte erfahrungen mit Linux + Windows gemacht und deshalb "never change a running system before you got a new one" :lol:


-- Veröffentlicht durch rage82 am 10:58 am 1. Nov. 2008


Zitat von MisterY um 21:44 am Okt. 31, 2008
bevor ich aber mir die krankheit hole (linux) brauche ich erstmal nen neues sys und dazu brauch ich erstmal geld ;)




nur falls dir es nicht bekannt sein sollte, man kann tatsächlich mehrere betriebssysteme auf einem rechner installieren und wenn der ram ausreicht das ganze sogar gleichzeitig betreiben, wie wakko schon geschrieben hat ;)

wozu brauchst du nen neuen rechner? du willst doch nur wissen ob das clustering funktioniert, also nehmen was da ist und los...

kaufst du dir bei jedem neuen spiel auch gleich nen neuen rechner dazu? wäre natürlich nich schlecht, aber wenn du soviel geld hast kannste dir ja auch supercomputer kapazitäten mieten ;)


-- Veröffentlicht durch NecRoZ am 10:00 am 1. Nov. 2008

afaik ist GPU-computing zZ nur mit CUDA (sprich Nvidia) "ordentlich" realisierbar, lasse mich da aber gerne einse besseren belehren ;)


achja wegen blender, schau mal nach tutorials im internet, hat mir vor 1 jahr etwa auch sehr geholfen, jetzt bin ich schon recht gut im umgang mit blender


klick

achja, clustering per linux is schon möglich, frag mich aber bloss nicht wie XD  frag mal lieber in nem informatiker-forum oder so nach, meine schwester (informatikerin;)) hat das in ihrerer uni auch schonmal eingerichtet mit andren kommilitonen zusammen


-- Veröffentlicht durch MisterY am 21:44 am 31. Okt. 2008

bevor ich aber mir die krankheit hole (linux) brauche ich erstmal nen neues sys und dazu brauch ich erstmal geld ;)


-- Veröffentlicht durch rage82 am 21:34 am 31. Okt. 2008

da du ja scheinbar noch zeit hast, wie wäre es mit selbst versuchen und testen?

wahrscheinlich wird das hier kaum einer wissen und selbst wenn du es dann brauchst, wirst du einige zeit brauchen das zu konfigurieren, also fang doch direkt schonmal an und teste es ;)


-- Veröffentlicht durch MisterY am 21:19 am 31. Okt. 2008

wäre denn ein clustering mit Linux (aber bitte was mit ner grafischen oberfläche) nutzbar/realisierbar?

da müsste ich dann aber noch warten bis ich mal wieder aufrüste und dann den PC hier auch in nen 19" rack stecke und dann beide PCs im selben kreislauf per wasser kühle. dann würde ich aber auch gerne die grakas (2600XT und X1900XTX) mitnutzen zum berechnen.


-- Veröffentlicht durch MisterY am 19:53 am 30. Okt. 2008

schon ;)

aber bei blender blick ich nicht wirklich durch :noidea:


-- Veröffentlicht durch NecRoZ am 17:21 am 30. Okt. 2008


Zitat von wakko0816 um 0:21 am Okt. 29, 2008
Das Programm "Blender", das Necroz hier meint ist ein 3D-Modeller und hat
nur wenig mit Video-Rendering zu tun.



im 1. beitrag gings ja auch noch ums rendern von "kristallen und erdbeben" oder nicht?


-- Veröffentlicht durch MisterY am 19:21 am 29. Okt. 2008

ja blender kenne ich, bin damit aber nie so wirklich klar gekommen :noidea:


-- Veröffentlicht durch wakko0816 am 0:21 am 29. Okt. 2008

Das Programm "Blender", das Necroz hier meint ist ein 3D-Modeller und hat
nur wenig mit Video-Rendering zu tun.


-- Veröffentlicht durch MisterY am 23:21 am 28. Okt. 2008

hmm dann bleib ich wohl bei ConvertXtoDVD.

kann man mit Blender denn mehrere rechner verwenden?

und: ich würde gerne mal eine mächtige (!) supernova mit Blender erstellen. wie macht man sowas am besten?

und braucht man dieses python (oder so)? ich habe die 64bit version installiert aber blender meldet, dass programm wäre nicht installiert.


-- Veröffentlicht durch NecRoZ am 22:32 am 28. Okt. 2008

mit blender kannst du in relativ vielen formaten rendern, falls du das meinst, aber du kannst ja auch per "SUPER" converten, falls es deinen wünschen entspricht;)


-- Veröffentlicht durch MisterY am 23:11 am 27. Okt. 2008

also ich habe hier ZIEMLICH viele filme vom TV aufgenommen (so ca 200) und die will ich alle umwandeln. ich meine, für zwei filmdateien brauche ich mit ConvertXtoDVD3 grad mal ne stunde aber es ist eben die masse und ich möchte das gerne von einem PC aus konfigurieren können und verwalten können.


soviel ich weiß, kann man mit blender nur grafiken und filme erstellen bzw rendern aber nicht im cluster unter win xp/vista ein AVI, Mpeg etc film auf DVD5 format bringen? :noidea:


-- Veröffentlicht durch Hitman am 19:16 am 27. Okt. 2008

Also ich brauch ca. 1Std 30Min mit meinem Notebook für nen 4,5GB Film auf 1,5GB DivX. Dabei brauch er 40W. Sind 60W in der Zeit. Mit meinem normalen Rechner schaff ich das in 1Std. Der brauch ca. 200-300W.

Unsinn? Also auch wenn ich die kiste geschenkt kriegen würde, würd ich se nicht anschließen, ich brauch sowas einfach nicht. Da würde ich mit Filmen gar nicht mehr nachkommen. Mal davon ab, dass ich nicht jeden Tag 1000de Filme umwandel, sondern maximal mal 1-2/Woche.


-- Veröffentlicht durch NecRoZ am 18:20 am 27. Okt. 2008


Zitat von Hitman um 17:37 am Okt. 27, 2008
Omg, wers brauch.....



sagt nicht, das du ihn nicht auch gerne hättest :D  

aber mal im ersnst: was zieht das ding im LOAD? ich glaube den geschönten angaben von dem seiner HP nicht:lol:


-- Veröffentlicht durch Hitman am 17:37 am 27. Okt. 2008

Omg, wers brauch.....


-- Veröffentlicht durch NecRoZ am 17:28 am 27. Okt. 2008

blender.org ;);)






boing:  CLUSTER

(Geändert von NecRoZ um 17:31 am Okt. 27, 2008)


-- Veröffentlicht durch MisterY am 21:07 am 26. Okt. 2008

kennt denn jemand ein programm, die videoencoden auf mehreren rechnern unterstützt? :godlike:


-- Veröffentlicht durch wakko0816 am 19:30 am 25. Okt. 2008

Achso.... Auch fürs Video-Rendern muss das Render-/Kodierprogramm die
"Clusterisierung" der Berechnung bereitstellen. Einen rundum-sorglos
Abstraktionslayer, der selbstständig erkennt welche Berechnungen auf
andere Rechner ausgelagert werden können, gibt es meines Wissens nicht.
Zwar gibt es solche "Cluster-Frameworks" (linux-ha.org) allerdings ist die
Software, die das dann nutzt meistens eine Spezialanfertigung.


-- Veröffentlicht durch MisterY am 17:54 am 25. Okt. 2008

hallo,

die programme habe ich noch nicht. es geht abre auch darum, dass ich z.b. auch damit filme rendern kann.



-- Veröffentlicht durch wakko0816 am 13:12 am 25. Okt. 2008

Vielleicht verrätst Du mal, mit welcher Software Du Deine Simulationen
durchführst (Deine Uni wird da bestimmt ein Referenzprogramm haben).
Denn von der hängt es ab, ob verteiltes Rechnen unterstützt wird.
Wenn die tatsächlich frei verfügbar ist, unter Linux läuft und verteilt rechnen
kann, dann sollte es eigentlich gar kein Problem Problem sein auf Deinen
Rechnern via VMWare oder VirtualBox Linux zu installieren und die zu vernetzen.
Mit VMWare kenne ich mich nicht aus, aber VirtualBox reicht zumindest die
CPU 1:1 durch. Die Verwendung von CUDA wird durch die Verwendung von
VMs verhindert, da dafür auch der Grafikchip direkt durchgereicht werden müsste.

Alternativ könntest Du rausfinden, wie lange eine dieser Simulationen
dauert (also auf einem einzelnen Rechner) und dann überlegen, ob Die
geschätzten >20h Aufwand zum Einrichten und Vernetzen der VMs am Ende
wirklich genug Zeit sparen. ;)


-- Veröffentlicht durch VoooDooo am 21:46 am 24. Okt. 2008

ich werf jetzt einfach mal CUDA in den Raum (kA was du für Software einsetzt).


-- Veröffentlicht durch Ino am 17:45 am 24. Okt. 2008

nr vmware kannst du nicht auf 3 rechner aufteilen. also so wie du dir das denkst. und ein cluster aufzusetzen ist auch nicht in 2h erledigt. du brauchst dann schon tiefere computer Kenntnisse.
anderes problem es gibt kostenlose clustersoftware aber die ist rechtkomplex und die andere willst du nicht zahlen wollen.


-- Veröffentlicht durch MisterY am 16:29 am 24. Okt. 2008

hallo,

ich studiere derzeit Geowissenschaften und in absehbarer Zeit werde ich wohl einiges am PC erstellen/rendern müssen. darunter fallen u.a. Kristalle (komplexe) und andere sachen wie z.b. Erdbeben simulation etc.

Und da man da ordentlich rechenleistung braucht, hat man zwar die Möglichkeit, das Rechenzentrum der Uni zu nutzen, aber das wird wohl belegt sein von den Kommilitonen.

Da ich zuhause zwei bzw drei recht Starke PCs habe, würde ich gerne deren Leistung kombinieren, sodass ich die Leistung von denen zusammen nutzen kann.

es handelt sich um folgende Hardware:

PC1:
AMD Athlon 4600+
6GB DDR2 800 Ram
X1900XTX (kann man die auch in die berechnungen irgendwie mit reinbeziehen?)

Server:
AMD Athlon 4200+
2 GB DDR2 800
HD2600XT

PC2:
Intel Pentium 4E (Prescott) 3,2ghz
1 GB DDR 400
GeForce irgendwas (nix dolles)

derzeit werden die PCs per 100mbit im LAN zusammen angebunden. wobei ich zwischen dem PC1 und dem Server ggf. eine direkte 1Gbit leitung erstellen kann.

auf PC1 läuft Vista 64 Ultimate und auf dem server + PC2 läuft XP Prof SP2.

gibt es da irgend eine möglichkeit? :noidea:

edit: ich meinte natürlich, ob es eine möglichkeit gibt, es per VMWare-Linux möglich ist und wenn ja, wie? ich möchte auf keinem PC Linux fest installieren, deshalb die VMWare!

(Geändert von MisterY um 16:44 am Okt. 24, 2008)


OCinside.de PC Forum
© 2001 - 2024 www.ocinside.de