Arkitektuera e Warehouse computing server Brezi i ardheshem per bashkimin e ambineteve per depot e kompjuterave.

Pika 1
Strukture e detajuar e percaktimit Performance e detajuar Kosto Modelet e power (energjise)

Pika 2
Volumin e perberesve te nonserver ne menyren e paketimit Ndarja e kujteses Disku flash-base ne Cashe

Sektori I internetit ka nje rritje te shpejte ne te gjithe tregun e serverave. Infrastruktura e serverit te internetit ka me mijera perdorues te cilet perdorin me qindra mijera servera. Kostot motivojne cmimet e mallrave dhe efikasitetin e energjise, gjithashtu reflekton edhe ne vendimet per te levizur karakteristikat hardware ne raftet e palikimit.

Projekti jone synon te ndermarre nje fside:

Infrastrukture te detajuar te vleresimit per ngarkesen e workhouse computing Performancen e detajuar Koston Modeli I Power Modeli I Metriks

Zgjidhja e propozuar ka karakteristikat e meposhteme:

Kosto e ulet Komponente te ulet energjie Volum I larte Hapesire e levizshme ne zgjidhjen e paketimit Ndarja e memories Flash disk cache

Jane identifikuar 4 fusha kyce: CPU Paketimi Memorie Disk

Mjedisi i vleresimit Nje nga pengesat ne studimin e arkitekturave te reja per mjediset warehouse ka qene mungesa e mundesise per tu futur ne ngarkesat e punes ne sektorin e internetit. Per te kryer kete studim eshte krijuar nje pike referimi me 4 ngarkesa qe perfaqesojne sherbime te ndryshme ne qendrat e te dhenave ne sektoret e internetit.

WEBSEARCH (kerkimi ne internet)

Perfaqesuese e te dhenave te pastrukturuara ne ngarkesen e punes ne internet Kerkesat me volum te madh te behen brenda pak sekondave. Si pike referimi eshte marre nje Nutch engine ne drejtim te serverit Tomcat dhe APACHE. Fjalet kyce jane bazuar ne nje shperndarje ZIPF te frekuences se fjaleve te indeksuara. Performanca matet me numrin e kerkesave per sekonde (RPS-requested per second), per cilesine e krahasueshme te Sherbimit te Garanciv e (QoS-quality of service)

WEBMAIL (adresimi)
Perfaqeson sherbimet interaktive ne internet duke perdorur Web 2.0 aplikim. Perdor PHP bazuar ne SquirrelMail server qe eshte ne krye te APACHE. Serverat SMTP dhe IMAP jane instaluar ne nje makine qe perdorin korierin imap dhe exim. (veprim,taria perbehet nga sekuenca e : login, lexim email dhe attachment, pergjigje/forward/delete/move, shkruaj dhe dergo) Performanca matetsi numer I RPS per garanci te krahasueshme QoS.

YTUBE
Eshte perfaqesues I Web 2.0 per tendencat e perdorimit te mediave te pasura (fotogtafi, video) Pika jone e referimit behet sipas SPECweb2005(korporata e vleresimit te standartit te performances) krahasuar me karakteristikat e verejtura ne servera. Keshtu modifikojme faqe,fotografi, madhesite e shkarkesave dhe zgjerojme kerkesen QOS per sjelljen e modelit. Modelet jane modeluar sipas nje shperndarje ZIPF. Performanca matet si numri I kerkesave per sekonde, duke siguruar qe shkeljet QoSjane te ngjashme ne te gjithe veprimit.

MAPREDUCE model programimi per perpunimin ne grupe te medha te te dhenave.

Eshte perfaqeuese e ngarkeses se pune qe perdorin Web-in si platforme. Modelon drejtimin e nje grupi pune offline qe grumbullon te dhena te llojit te pershtatshem per stilin e llogarise. Perdor opensource Hadoop dhe drejton dy aplikime : 1. Marpreduce-WC (numerim te fjaleve mbi nje
2.
permbledhje te madhe 5Gb) Mapreduce Write (mbush sistemin e dosjes me fjale te rastesishme) Performanaca matet si shuma e kohes per te kryer detyren. Ngarkesa perfshin te dyja :CPU dhe IO (hyrjedaljet)

Tabela 1: Permbledhje e detajeve qe prezantojne ngarkesen e internetit.

Workload websearch

Emphasize the role of unstructured data

Description

Perf metric

webmail

Interactive internet services

ytube mapreduce

the use of rich media web as a platform

Open source Nutch-0.9, Tomcat 6 with clustering, and Apache2. 1.3GB Request-per- sec (RPS) w/ QoS index corresponding to 1.3 million indexed documents, 25% of index terms cached in memory. 2GB Java heap size. QoS requires >95% queries take <0.5 seconds. Squirrelmail v1.4.9with Apache2 and PHP4, Courier-IMAP v4.2 and RPS w/ QoS Exim4.5. 1000 virtual users with 7Gb of mail stored. Email/attachment sizes and usage patterns modeled after MS Exchange 2003 LoadSim heavy users. QoS requires >95% requests take <0.8 second. Modified SPECweb2005 Support workload with Youtube traffic RPS w/ QoS characteristics. Apache2/Tomcat6 with Rock httpd server. Hadoop v0.14 with 4 threads per CPU and 1.5GB Java heap size. We study Execution time two workloads - distributed file write (mapred-wr) and word count (mapred-wc)

Figura 1: Modelet e kostos dhe deshtimeve.

Metriks dhe Modele (Karakteristika e vecante e ecurise se nje programi dhe Modelet)

Modeli i kostos

Metriks
Celesi i performances/cmimi metrik per mjedisin e sektorit te internetit eshte ecuria e qendrueshme (Perf) e ndare nga kostoja totale e pronesise ( shkurt njihet si TCO- $). Per performancen perdorim perkufizimin specifik si ne tab1 Per koston totale perdorim koston qe lidhen me bazen hardware, fuwine e rendeses, ftohjen dhe gjendjen reale. Te tjera metrikse jane: Performance-per-Watt (Perf/W) , njesia matese e energjise Kosto specifike per Infrastrukture (Perf/inf- $), performanca e kostos specifkie Performanca e kostos per fuqi dhe ftohje, (Perf/P&C-$ ).

1. 2. 3.

Dy komponentet kryesore te modelit tone te kostos jane: (1) shpenzimet baze te hardware, Kemi parasysh ketu komponente si: CPU, memorie, disk, bord, energji dhe ftohje (Power&Cool). I grumbullojme keto kosto ne nivelin dysheme, dhe e konsiderojme kosto shtese te mbylljes ne ate nivel. Te dhenat I marrim n ga kompani te ndryshme. (2) shpenzimet baze te energjise se renduar dhe shpenzimet e ftohjes. Kemi dy nenkomponente.: Ne fillim ne perllogarisim konsumin dysheme te nivelit te energjise (konsumi P), e cila llogaritet si (CPU, memorie, disk, energji-dhe-ftohje) dhe pjesa tjeter e bordit ne nivel per server. Se dyti, u perdor konsumi P si input per te percaktuar koston e renduar te energjise.
PowerCoolCost (kostoja e energjise se ftohjes) = (1 + K1+L1 +K2 * L1) * Us, grid * Pkonsumi

Ky model e konsideron energjine renduar dhe kostot e ftohjes te perbera nga shpenzimet e energjise elektrike ne nivel dysheme, kostot e infrastruktures se amortizuar per shperndarjen e energjise (K1), kostot e energjise elektrike per ftohje (L1) dhe shpenzimet e amortizuara te kapitaleve per infrastrukturen e ftohjes (K2) .

Vleresimi i performances:

Per te vleresuar performancen,eshte perdorur nje simulim COTSon i HP Labs, i cili eshte i bazuar ne infrastukturen e AMD SimNow. Ky eshte nje sistem i plote i vlefshem per simulatoret x86/x86-64 qe mund te startoje nje Linux OS (sistem operativ linux) te pamodifikuar dhe te ekzekutoje aplikacionet komplekse. Simulatori pershtet ne nje procesor 64-bit Debian Linux.

Figura 1: Modelet e kostos dhe deshtimeve.

3. Projektimi i Serverit te Ri
3.1 Analiza e kostos dhe menyrat e Marrjes se te Dhenave. Figura 1(a) liston kostot e komponenteve hardware,fuqine baze te konsumit, dhe kostot e renduara te energjise dhe ftohjes per dy konfigurimet e serverave ekzistuese (srvr1 dhe srvr2). Figura 1(b) paraqet nje diagrame te rrumbullaket te shpenzimeve totale per srvr2 e ndare si infrastruktura (HW) dhe energjia e renduar dhe ftohjes (P&C).
Te dhenat tona tregojne disa drejtime interesante. Se pari, kostot e energjise dhe ftohjes jane te krahasueshme me kostot e hardware. Kjo eshte ne perputhje me studimet e fundit nga Ngarkesat e punes te sektorit te internetit qe theksojne te njejten tendence .Per me teper, hardware CPU dhe energjia dhe ftohja CPU jane dy komponentet me te medha te shpenzimeve totale (duke kontribuar 20% dhe 22% respektivisht). Megjithate, mund te shihet se nje numer i komponenteve te tjere kontribuojne se bashku ne menyre te barabarte ne shpenzimet e pergjithshme. Si rrjedhoje, per te arritur me te vertete performanca bindese, zgjidhjet duhet te adresojne komponente te shumta ne menyre teresore. Me poshte, shqyrtojme nje zgjidhje te tille teresore.

Ne menyre te vecante,konsiderojme kater ceshtje kryesore:

1.

A Mund te zvogelojme shpenzimet e pergjithshme nga CPU (hardware dhe energji), duke perdorur vellimin e larte me kosto te ulet dhe energji te ulet (por edhe me performancete ulet ) te procesoreve Non-server?

3. A mund te zvogelojme shpenzimet e pergjithshme per Memorjen, duke bere ndarjen e kujteses?

4. A mund te zvogelojme shpenzimet e

2.

A mund te zvogelojme shpenzimet e energjise se renduar nga zgjidhjet e paketimit?

pergjithshme per komponentin disk duke perdorur disqe me energji me te ulet (por edhe performance te ulet), mundesisht me zhvillim jo te paqendrueshem te Memorjes?

Ti pergjigjemi seciles nga keto pyetje ne hollesi nuk eshte e mundur brenda kufizimeve te hapesires te ketij projekti. Se pari do te vleresojme, nese fitimet e konsiderueshme jane te mundshme ne secilen nga keto fusha, kur arkitektura shihet nga perspektiva e ansamblit dhe jo si nje koleksion i sistemeve individuale. dhe Se dyti, ne qofte se kombinimi i permiresimeve ne secilen prej ketyre fushave mund te coje ne nje dizajn te pergjithshem qe permireson ndjeshem gjendjen aktuale te artit. Me poshte,do vleresojme secilen prej ketyre ideve ne menyre te izoluar (pika 3.2 - 3.5), dhe pastaj marrim ne konsiderate perfitimet neto kur keto zgjidhje jane perdorur se bashku (pika 3.6).

3.2 Energjia-e ulet, kostoja-e ulet te CPU-ve

Ndersa serverat per bazat e te dhenave jane fokusuar tradicionalisht ne marrjen e performances me te larte per serverin, natyra e shkallezimeve te sektorit te internetit lejon per nje fokus mbi ecurine e $ duke shfrytezuar sistemet qe ofrojne nje performance superiore. Ne te vertete, botime nga kompanite e medha te sektorit te internetit te tilla si Google shfaqin dobine e ndertimit te serverave duke perdorur pjese nga personal kompjutera desktop. Intuita eshte se vellimi drejton koston. Ne krahasim me serverat qe kane nje treg te kufizuar dhe kufijte me te larte te cmimeve, PC tregon te kete nje treg shume me te medha qe lejon per cmime me te ulta. Pervec kesaj, keto procesore nuk perfshijne kostot shtese per karakteristika si mbeshtetje multiprocessor dhe te avancuara qe jane bere te teperta nga mbeshtetja e besueshmerise ne rafte software per Ngarkesat e punes te sektorit te internetit. Per studim jane marre ne konsiderojme gjashte konfigurime te ndryshme te sistemit (Tabela 2).

Tabela 2: Permbledhje e sistemeve te marra ne konsiderate.

System Srvrl Srvr2 Desk Mobl Emb1 Emb2 "Similar to" Xeon MP, Opteron MP Xeon, Opteron Core 2, Athlon 64 Core 2 Mobile, Turion PA Semi, Emb. Athlon 64 System Features 2p x 4 cores, 2.6 GHz, OoO, 64K/8MB L1/L2 1p x 4 cores, 2.6 GHz, OoO, 64K/8MB L1/L2 1p x 2 cores, 2.2 GHz, OoO, 32K/2MB L1/L2 1p x 2 cores, 2.0 GHz, OoO, 32K/2MB L1/L2 1p x 2 cores, 1.2 GHz, OoO, 32K/1MB L1/L2 Watt 340 215 135 78 52 35 Inf-$ 3,294 1,689 849 989 499 379

AMD Geode, VIA Eden-N 1p x 1 cores, 600MHz, inord.,32K/128K L1/L2

Srvr1 perfaqeson sistemet e serverave me nivel te mesem Srvr2 perfaqeson sistemet e serverave me fund te ulet tavolina(desk) perfaqeson sistemet e serverave desktop, mobl paraqet sistemet mobile emb1 perfaqeson nje sistem te ilustruar te nivelit te mesem emb2 perfaqesojne nje sistem te ilustruar te nivelit fund te ulet
Te gjitha serverat e kane memorjen 4GB, duke perdorur teknologjite e: FB-DIMM (srvr1, srvr2), DDR2 (desk, mobl, emb1) ose DDR1 (emb2). Srvr1 ka nje disk 15k RPM dhe nje 10 Gigabit NIC, ndersa te gjithe te tjeret kane nje disk 7.2k RPM dhe nje 1 Gigabit NIC.

Figura2:Permbledhje e perfitimeve nga perdorimi me kosto te ulet te ulet te energjise se CPU nga shitja e jo serverave.

Ndarjet e kostove te infrastruktures dhe te energjise te ngarkuar dhe kostot e ftohjes

(c)Performanca, dhe fuqia e kostos

3.3 Kompaktet Dhe Ngrohja Totale

Pas proccesorit, efikasiteti i munguar ne sistemin e ftohjes eshte nje faktor tjeter me i madh i kostos. Sistemet me engjersi te ulet ofrojne mundesine per bordet me forme faktor te vogel, e cila nga ana tjeter lejon nje optimizim te sistemit te ftohjes. Per studim jane marre Serverat Blade, pasi jane shume te njohur ne treg. Hyrje-e dyfishte me drejtim mbylljeje me airflow:
Figura 3 (a) tregon se si nje nivel server mbylljeje mund te riprojektohet per te mundesuar blades (brisqet) per t'u futur nga para dhe prapa qe te bashkengjiten ne nje midplane(Plan te mesem). Intuita eshte celesi per ndarjen e rrjedhjes se ajrit, dhe do te lejoje ajrin e ftohte per tu drejtuar vertikalisht neper blades. Kjo eshte bere duke rritur volumin e rrethuar per te krijuar nje gji nga Plenumi i Hyrjes(hapesira e hyrjes) dhe deri te Plenumi i shkarkimit, dhe per te drejtuar rrjedhjen e ajrit ne drejtimet e treguara nga shigjeta ne foto. Rrjedhja e ajrit eshte ruajtur neper te gjitha blades ne menyre paralele nga plenum i konsumit. Bordi i nivelit te heqjes se ngrohjes: Figura 3 tregon nje dizajn te paketimit. Ne sisteme me energji te ulet, mund te konsiderojme blades me forme faktore shume me te vogla qe jane te integruara ne blades konvencionale qe i pershtatet ne nje hapesire me te vogel. Si eshte paraqitur ne figuren 3(b), ne propozojme nje skeme inovative paketimit qe agregatet e energjise te shperndajne komponentet ne pajisje dhe ne nivel pakete. Modulet e serverave me forme faktor me vogel jane pershpjetuar me tuba te ngrohjes planare qe transferojne ngrohjen ne nje percueshmeri efektive tri here me te larte ne vendin qendror se ajo prej bakri. Ngrohja totale eshte larguar me nje lavaman ngrohjeje me te madhe te optimizuar qe mundeson kanalizimin qe rrjedh permes nje lavamani ngrohes te vetem ne krahasim me lavamane te shumte e te shperndare te ngrohjes. Perueshmeria e rritur dhe zona e rritur per nxjerrjen e nxehtesise on ne ftohje me efikase.

Figura 3: Arkitektura e re e propozuar e ftohjes. Ftohjet e grumbulluara dhe te ngjeshura mund te ulin shpenzimet totale pa ndikuar ne performance.

3.4 Ndarja e memories

Kostot e MEMORJES dhe te energjise jane nje pjese e rendesishme e paraqitjes se sistemi ne nje nivel datacenter, mund te jete e veshtire per te zgjedhur sasine e duhur te Memorjes ne cdo server. Kerkesat e memorjes neper Ngarkesat e punes ndryshojne shume, dhe studimet e fundit kane treguar se masat per-server per ngarkesat e pikut mund te coje ne mbledhje te rendesishem te nivelit te paparashikuar. Projekti yne ofron nje grumbullim memorie e cila eshte e ndare midis te gjithe serverave te bashkangjitur.
Arkitektura themelore: Projekti yne eshte ilustruar ne Figuren 4 (a). Cdo server Blade ka nje memorje te vogel lokale, dhe serverat e shumta jane te lidhura me nje memorje Blade, e cila ofron nje grumbullim te memorjes dhe trajton hyrjet ne nje faqe me mase te imet. Brenda nje mbyllje te vetme, serveri dhe Memorja Blade jane te lidhura nepermjet nje vije me shpejtesi te larte dhe te brendshem. Nje kontrollues hardware ne memorjen Blade trajton menaxhimin e Blade, dergimin dhe marrjen faqe per faqe nga procesori blades, ndersa zbaton alokimin per-server te memories per te siguruar sigurine dhe izolimin e gabimeve.

(b) Ngadalsime duke prdorur zvendsim t rastit pr 25% t nivelit t par madhsin e kujtess

(c) Kostoja neto dhe fuqia efficiencies (a) Arkitektura e memories Blade

Figura 4: Arkitektura e ndarjes se memories dhe rezultati.

Tabela 3:.Diksu me fuqi te ulet , ne memorien Cache

3.5 Flash disk si cache-me fuqi te ulet.

Ky seksion trajton perfitimet nga perdorimi I energjise te ulet te disqeve laptop. Pervec energjise te ulet, keto kane te miren e nje faktori me forme te vogel duke lejuar ngjeshjen madhe per ftohje agreguar (si ne piken 3.3), por vijne me perfitime te performances me te ulet dhe cmim me te larte. Pervec kesaj kemi shqyrtuar perdorimin e teknologjise jo te luhateshme flash.Sic shihet ne Tabelen 3(a), Flash ka fuqi te deshirueshme, performance, dhe karakteristikat e kostos qe perputhen me qellimet tona. Megjithate, nje nga kufizimet e perdorimit te flash eshte se ai "lodhet" pas 100.000 shkrimeve , materialeve qe ruhen (duke supozuar teknologjine aktuale). Rezultatet tona ne Tabelen 3 (b) tregojne se vetem duke perdorur disqe laptop me energji te ulet nuk eshte e dobishme nga pikepamja e performances e $ per kriteret tona. Humbja ne performancen dominon kursimet ne energji. Megjithate, duke perdorur nje disk cache flash eshte ne gjendje te siguroje nje permiresim te performances

(a) Lista e parametrave te te flash dhe disk.

(b) Kosto neto dhe eficensa e fuqise.

3.6 Vendosja e te gjitha se bashku

Figura 5: Kosto dhe fuqia efikase per dy dizajne te unifikuar qe sjellin se bashku zgjidhje individuale.

Dy harta te unifikuara: Bazuar ne vezhgimet e mesiperme, ne konsiderojme dy arkitektura te reja per sektorin e internetit. Dizajn jone N1 perfaqeson nje zgjidhje praktike ne afatshkurter, ai perdor blade celular me hyrje te dyfishte te rrethimit dhe airflow drejtuar, por nuk perfshin shkembimin e kujteses ose flash disk caching baze me disqe te levizshme. Design yne N2 perfaqeson nje zgjidhje te mundshme afatgjate, ai perdor blades te ngulitur me ftohje te agreguar duke vendosur ne nje mur me drejtim te rrjedhjes se ajrit. Ne perdorim ndarjen e kujteses dhe disqet me flash disk caching baze me energji te ulet ne distance per te lejuar kete nivel te kontaktit. Disa nga ndryshimet e kerkuara per te marre konfigurimin N2 komponentet doganore, kane mundesi te behen kosto-efektive brenda pak viteve me volum ne kete treg.

Vleresimi: Figura 5 tregon se si dy zgjidhjet tona sigurojne permiresime te konsiderueshme te kostos dhe efikasitetin e energjise ne krahasim me sistemin srvrl baze. Duke u ndalur ne provat e ytube dhe mapreduce, performance/TCO-$ (Figura 5) permireson zgjidhjen aktuale te gjenerates (Nl) dhe zgjidhjen e gjenerates se ardhshme (N2). Figura 5 tregon se keto perfitime jane njesoj nga kostot e infrastruktures dhe kursimeve te energjise.