Distributed computing - distribuované výpočty Tisk E-mail
Napsal Jan P.   
Úterý, 13 červenec 2010
altJistě jste se již setkali s pojmem Distributed computing (neboli česky distribuované výpočty). Jelikož se již přes čtvrt roku jednoho takového projektu účastním, rozhodl jsem se sepsat svoje zkušenosti.

 

 

Společností již častokrát proběhlo, že je možné zúčastnit se projektů, na které výkonově nestačí ani ty největší superpočítače na světě. Jedná se například o hledání prvočísel, analýzu vesmírného záření (jestli tam náhodou nejsou marťani) či zkoumání lidského DNA. Jelikož se těchto projektů účastní miliony lidí a poskytují přebytečný výkon svého PC, je možné takto náročné výpočty realizovat. Díky distribuovaným výpočtům je možné dosáhnout výkonu 256 TeraFlops (projekt World Community Grid) a limity zde téměř nejsou - záleží především na počtu účastníků.

 

Na začátek troška teorie

Systém distribuovaných výpočtů pracuje na vyřešení určitého, výpočetně extrémně náročného úkolu, který je možno paralelizovat, tj. rozdělit ho na velké množství malých, na sobě nezávislých výpočtů. Model se skládá z hlavního serveru, jenž má na práci rozdělování výpočtů, přijímání výsledků a podobně, a mešních jednotek (typicky počítačů majících samostatný procesor a operační paměť) nazvaných "uzly". Veškerá komunikace pak probíhá pomocí zpráv, jenž si uzly vyměňují s hlavním serverem.

Vysokého výkonu je dosaženo tím, že hlavní server rozdělí jednoduché výpočty jednotlivým uzlům a ty na nich mohou souběžně pracovat. Poté, co se doberou k výsledku, zašle uzel zprávu o dokončení a následně samotná data. K výpočtům se ve valné většině používá CPU počítače, ale některé projekty je možné provozovat i na nových GPU.

Celé si to lze představit na tomto jednoduchém případě: Máme za úkol zjistit, zdali je číslo 1001 prvočíslem. Toho se dosáhne tak, že se postupně vydělí všemi čísly od 2 až do 1000. Pokud ho žádné z těchto čísel nevydělí beze zbytku, tak je 1001 prvočíslem (pomíjím zde fakt, že stačí testovat dělitelnost čísly od 2 do odmocniny z 1001).

Pokud by otestování výrazu 1001 děleno libovolné číslo trvalo 10 sekund, trvalo by jednomu počítači vyřešení této úlohy 999 * 10 sekund, tj. 166,5 minut. Když se ale úloha rozdělí na 999 jednotlivých výpočtů a každý výpočet se zadá k vyřešení jednomu uzlu, tak vyřešení celé úlohy bude trvat nějakých 10 sekund + čas nutný k zaslání zpráv k uzlům + čas nutný k zaslání zpráv zpět k hlavnímu serveru + vyhodnocení dat na hlavním serveru. Dá se tak říct, že tímto způsobem se k výsledku dobereme během nějaké 0,5 minuty. A to je přeci slušné zlepšení!
 
 

Chci se zúčastnit, co k tomu potřebuji?

Zaprvé je nutné si vybrat z řady projektů, které se zabývají opravdu nejrůznějšími úlohami z oboru matematiky, fyziky, biologie, medicíny, chemie, astrofyziky a podobně. Seznam všech nejvýznamějších najdete například zde na stránkách Wikipedie.

Pak vás čeká registrace k danému projektu a stáhnutí sotfwaru - klienta -, který bude přes internet komunikovat s hlavním serverem projektů a tvořit jakéhosi správce výpočtů. Většina dnešních projektů používá softwareový klient BOINC (Berkeley Open Infrastructure for Network Computing), což je svobodný software s otevřeným kódem a vydán pod licencí LGPL.

obrzek-1
 
 

BOINC

Jak jsem již zmiňoval, klienta BOINC si budete muset v případě většiny projektů nainstalovat na svůj PC (stáhnout si ho můžete zde). Ten pak obstarává komunikaci se servery, výměnu zpráv, spravování jednotlivých výpočtů a právě pomocí něho budete jednotlivé projekty spravovat.

obrzek-2

Je to velmi intuitivní program a velkou výhodou je, že je k dispozici i v české lokalizaci. Obsahuje šest hlavních záložek - Projekty, Úkoly, Transfery, Zprávy, Statistiky a Diskové využití.

První dvě slouží ke spravování jednotlivých projektů - můžete se účastnit více najednou - a jednotlivých výpočtů. Mezi nimi lze libovolně přepínat, pozastavovat je či nechat si zobrazit grafický výstup právě počítaných dat.

Další dvě slouží k logování vyměněných zpráv a k zobrazení aktivních transferů. Poslední dvě záložky jsou čistě statistického rázu a zobrazují celkovou vykonanou práci, průměr za den nebo současné využití disku.

obrzek-3

Nicméně asi nejdůležitější je nastavit si dobu, kdy má k výpočtům docházet. Samozřejmě nic vám nebrání nastavit si nepřetržité počítání, ale to má i své nevýhody, o čemž až za chvíli. Zaměřit byste se měli především na položky "povolené dny", "povolené hodiny" a "pouze pokud je počítač v klidu po X minut".
Lze tak pohodlně nastavit, aby k výpočtům docházelo pouze o víkendy nebo třeba od 23:00 do 05:00. Samozřejmě můžete mít nastaveno, že se k výpočtům může docházet kdykoliv během dne, ale jen pokud je PC v nečinnosti alespoň třeba 5 minut (aby se začalo počítat například když si dáte šlofíka či odejdete na oběd).

Pokud máte systém s více procesory, lze také nastavit, jestli se mají využívat všechny nebo třeba jen několik z nich. Podobně můžete určit, kolik procent času procesoru se má věnovat výpočtům. 

 

A jaký z projektů si zvolit?

To samozřejmě záleží na tom, ve které oblasti chcete pomoct. Za sebe mohu zmínit projekt World Community Grid, za nímž stojí IBM. V současnosti nabízí hned sedm projektů z oborů ekologie, medicíny a genetiky. A právě kvůli této rozmanitosti jsem si ho vybral. Registrace i obsluha profilu je bezproblémová, můžete si založit vlastní skupinu (co třeba skupina pro uživatele www.DDWorld.cz), navíc případné problémy se dají velmi rychle vyřešit na interním fóru.

Mezi nejznámější patří projekty:

Folding@home (http://folding.stanford.edu/)

climateprediction.net (http://www.climateprediction.net/index.php)

SETI@homehttp://setiathome.ssl.berkeley.edu/)

PrimeGrid (http://www.primegrid.com/)

World Community Grid (http://www.worldcommunitygrid.org)

 

Na co si dát pozor


Zvýšená spotřeba
: Je celkem logické, že pokud bude váš PC vytížen mnohem víc než jindy, projeví se to také na spotřebě. A zvýšená spotřeba znamená také větší účet za elektřinu. Osobně mě toto až tolik netrápí, jelikož většinu roku trávím na koleji, kde je účet za elektřinu fixní. Doma je to však o něčem jiném, a tak by měl člověk zvážit, jestli mu za to vyšší účet stojí.

Využití GPU: Některé z projektů nabízejí výpočty také přes nové grafické karty ATi a nVidia. Pokud budete tedy chtít využít i GPU, zjistěte si nejdřív informace, zdali to daný projekt podporuje. Navíc, s dnešními TDP grafik, se ještě extrémněji navýší spotřeba, o čemž o pár řádku výše.

Omezení kvality práce: Toto je trošku zvláštní a rozhodně to nemusí postihnout zrovna vás. Člověk má totiž tendenci (když je to navíc měřené na body + srovnání s osatními uživateli) propadnout soutěžení a mít spuštěné výpočty na úkor komfortu při práci. Proto chce mít jasnou hranici - když pracuji, tak žádné výpočty, nebo jen v takové míře, abych to nepocítil.




Účastníte se některého projektu distribuovaných výpočtů?


Starší články


Komentáře
Přidat Nový
KoHHHnA [Zobrazit profil] [Poslat zprávu] 2010-07-13 21:20:01
avatar
Když na počítači nepracuji, tak tomu povoluji vzít si 10% cpu. Počítače jsou různě výkoné, ale je to zhruba ta hranice, kdy to na účtu skoro nepoznáte (pokud tedy děláte i něco jiného, než prohlížení internetu).
Sina [Zobrazit profil] [Poslat zprávu] 2010-07-14 00:15:23
avatar
Citace:
Osobně mě toto až tolik netrápí, jelikož většinu roku trávím na koleji, kde je účet za elektřinu fixní.

Ahá, tak to kvůli tobě pořád zdražují kolejné

K tomu omezení kvality práce - stačí dát nejnižší prioritu procesu programu počítající Distributed computing. Program pak využívá výkon, který my nevyužijeme a žádné omezení tak nepocítíme. U počítání přes GPU by prý dokonce nemělo docházet ani ke zpomalení her. Toto platí pro Folding@Home, který má vlastní klienty.
elJohno [Zobrazit profil] [Poslat zprávu] 2010-07-14 10:54:32
avatar
Citace:
Ahá, tak to kvůli tobě pořád zdražují kolejné

Ups Ale ono to u mě běží na notebooku, který má v zátěži TDP nějakých 80 W, takže to zas neni až tak horký.
Sina [Zobrazit profil] [Poslat zprávu] 2010-07-14 17:15:16
avatar
ty počítáš F@H na notebooku? Tak to bych řek že bude dost horký
elJohno [Zobrazit profil] [Poslat zprávu] 2010-07-14 20:27:21
avatar
Jojo, mám teda WorldCommunityGrid, ale běží mi to na notebooku.. Teploty CPU jsou většinou kolem 80-90°C, když to běží naplno..
MIKRON [Zobrazit profil] [Poslat zprávu] 2010-07-14 08:39:47
avatar
Já jsem o tom již dříve uvažoval ale tak nějak se nedokážu zbavit dojmu že je to možno i zneužít.Ale co dneska se nedá sneužít.Pravdu,nevím jak se k tomu postavit takže tady na vašich názorech asi strávím vícero času
Sina [Zobrazit profil] [Poslat zprávu] 2010-07-14 17:18:30
avatar
no já jeden čas počítal Folding@Home a přesně tohle mi říkal spolubydla, že můžu klidně něco zdarma počítat nějaký firmě . Bohužel pravdu se nedozvíš, ale ale já věřím že Standfordská univerzita by si to na triko nevzala
elancer [Zobrazit profil] [Poslat zprávu] 2010-07-14 13:28:33
avatar
Už som o tomto uvažoval dávnejšie. Ale nezapojil som sa a ani sa nezapojím. Je to pre dobrú vec, ale obávam sa účtu za elektrinu a potom, teraz cez leto počítač vypínam vždy, keď od neho na chvíľu odchádzam. Nechcem aby to zbytočne pieklo... v izbe je ráno o dosť chladnejšie, než večer keď tam sedím...
yetty [Zobrazit profil] [Poslat zprávu] 2010-07-14 17:45:42
avatar
Já jsem se kdysi učastnil programu SETI@home, měl jsme tenkrát Pentium 100 Mhz. Asi půl roku než jsem přeinstaloval wokna,když odešly.Poté už jsem na to zapoměl.Prostě asi chvilková moda.Měli to tenkrát všichni,tak já musel taky.
AndyF1 [Zobrazit profil] [Poslat zprávu] 2010-07-15 22:14:31

F@H GPU clienta nechavam bezat stale ked ide PC.V 2D ma to nijako nebrzdi (zostava v profile)a pri spusteni hry client pozastavi vypocty.Zneuzit sa da vsetko ale tej unverzite zatial doverujem. Nejak to nesilim a uz som blizko k 100k miestu ;-)Odkaz
Priest123 [Zobrazit profil] [Poslat zprávu] - spotreba 2010-07-16 09:52:21
avatar
btw s tou spotrebou to taky neni tak horke kdesik sem cetl ze to vycemene vychazi jen na desitky korun rocne(v rozumne mire sem tam pres noc atd..)pocitam to uz pomali rok a na el uctu to neni poznat...
BTW2:pokud se nekdo chce pripojit pridejte se k ceskymu teamu;)(http://www.czechnationalteam.cz/ doufam ze tato reklama nabude vadit..najdete tam vse o BOINC..)
Kevin [Zobrazit profil] [Poslat zprávu] 2010-07-16 22:20:12
avatar
Jeste trochu popremyslim a mozna se i zapojim. uvidime
JoBethCasey [Zobrazit profil] [Poslat zprávu] 2010-07-19 09:54:25
avatar
Muj notas asi rok a pul pocital neco s biologii a rakovinou, ale nakonec jsem se na to vykaslal, zralo to o dost vic, hucelo to a hlavne topilo... Zkusil jsem to v praci, kde pocitace bezi opravdu nevyuzite, ale tam mi to ti voleckove porad odinstalovavali.
Jinak "hledání prvočísel" mi prijde jako pletvani i timto lacinym vypocetnim vykonem
Ttxman [Zobrazit profil] [Poslat zprávu] 2010-07-26 02:58:44

Prvocisla se hodej vzdycky. Na kazdej elektronickej podpis potrebujes 2 dlouhy prvocisla. A nekde je sehnat musis. Nejvetsi nalezeny prvocislo ma v desitkovy soustave tusim nejak 12 nebo 13 milionu mist v zapise, a je fakt ze tohle se k sifrovani na dnesnich pocitacich tezko vyuzije
Vojtaci [Zobrazit profil] [Poslat zprávu] 2010-07-19 18:05:29

Já jsem dřív počítal F@H, teď BOINC. Ani nevím proč... hledat prvočísla je úplně zbytečné a léky na rakovinu, AIDS a nakonec všechny nemoci jsou známé vědě už třicet let a nevyrábí se jen z toho důvodu, že se na nich nedá vydělat. Ty projekty mají asi za cíl spočítat jak na tom vydělat a případně jestli se stále vyplatí rvát do lidí neúčiné a toxické látky.
Abych to osvětlil... nějakou dobu jsem žil v Amazonii u zdejších domorodých etnik a zkoumal šamanské techniky. Jeden z prvních šoků bylo setkání s donem Pepem. Asi čtyři roky jeho práci sledovala Kalifornská univerzita. Během těch čtyřech let brali výzkumníci snímky a nálezy lidí před návštěvou Pepeho a testovali je po návratu. Za ty čtyři roky vyléčil cca 8.000 případů rakoviny, 3.500 případů AIDS a 1.500 případů leukémie. Má úspěšnost 98%. My jsme se ptali, proč se o tom nemluví. Odpověď byla prostá - Víte kolik je ve farmacii peněz? Léčba jednoho člověka s rakovinou stojí v přepočtu cca 450.000 Kč měsíčně. Obvykle se člověk léčí chemoterapií rok. Tady se dá vyléčit za týden a takřka zadarmo. Na jednom člověku to dělá ztrátu cca pět a půl milionů korun ročně. Dovedete si představit, kdyby se to rozkřiklo? Tyto výzkumy jsou podrobené nejvyššímu utajení a cenzuře. Pro určité firmy by to byla ztráta biliony dolarů ročně.
O několik týdnů později jsme byli na procházce džunglí s donem Roquem a ten nám ukazoval : No, tahle rostlina léčí AIDS a tamto rakovinu... Tak jsme se ptali, proč to někomu neukážou a neřeknou jim, jak ty rostliny používat. On nám klidně řekl : Oni to už třicet let ví..."
Už víte proč v tom nevidím smysl?
jardop [Zobrazit profil] [Poslat zprávu] 2010-07-22 14:45:46

kde presne v Amazonii tychto panov najdem? hmmm??
steny [Zobrazit profil] [Poslat zprávu] - No, 2010-07-28 01:37:52

a rostlina co ti Don Roque ukazoval, nebyl to náhodou mák? Odkaz
Pouze registrovaní uživatelé mohou přidat komentář!
 

Najdete nás na Facebooku

.... a také na Twitteru

RSS

DDWorld.cz

DDWorld - Blogy a videa

DDWorld - Magazín

Poslední příspěvky v diskuzích


Videa
Česká 3 roky stará hra Vigor brzy na PC
Česká 3 roky stará hra Vigor brzy na PCStředa, 17 duben 2024
Vložil: aDDmin
Kategorie: Počítačové hry
Spuštěno: 712x
Komentářů: 0
StarCitizen přidává nový editor postav – kdy konečně vyjde?
StarCitizen přidává nový editor postav – kdy konečně vyjde?Úterý, 16 duben 2024
Vložil: aDDmin
Kategorie: Počítačové hry
Spuštěno: 763x
Komentářů: 2
MSI Claw otestován – na konkurenci dle očekávání nestačí
MSI Claw otestován – na konkurenci dle očekávání nestačíPondělí, 15 duben 2024
Vložil: aDDmin
Kategorie: PC a IT
Spuštěno: 1447x
Komentářů: 1
Total War: Warhammer 3 dostane novou expanzi!
Total War: Warhammer 3 dostane novou expanzi!Pátek, 12 duben 2024
Vložil: aDDmin
Kategorie: Počítačové hry
Spuštěno: 1288x
Komentářů: 0
FALLOUT 4 dostane oficiální NEXT GEN aktualizaci
FALLOUT 4 dostane oficiální NEXT GEN aktualizaciČtvrtek, 11 duben 2024
Vložil: aDDmin
Kategorie: Počítačové hry
Spuštěno: 1127x
Komentářů: 4
Seriál Fallout je tu a je to pecka!
Seriál Fallout je tu a je to pecka!Středa, 10 duben 2024
Vložil: aDDmin
Kategorie: Film
Spuštěno: 1767x
Komentářů: 6