Professional Documents
Culture Documents
Arkitektuera e Warehouse Computing Server
Arkitektuera e Warehouse Computing Server
Pika 1
Strukture e detajuar e percaktimit Performance e detajuar Kosto Modelet e power (energjise)
Pika 2
Volumin e perberesve te nonserver ne menyren e paketimit Ndarja e kujteses Disku flash-base ne Cashe
Sektori I internetit ka nje rritje te shpejte ne te gjithe tregun e serverave. Infrastruktura e serverit te internetit ka me mijera perdorues te cilet perdorin me qindra mijera servera. Kostot motivojne cmimet e mallrave dhe efikasitetin e energjise, gjithashtu reflekton edhe ne vendimet per te levizur karakteristikat hardware ne raftet e palikimit.
Mjedisi i vleresimit Nje nga pengesat ne studimin e arkitekturave te reja per mjediset warehouse ka qene mungesa e mundesise per tu futur ne ngarkesat e punes ne sektorin e internetit. Per te kryer kete studim eshte krijuar nje pike referimi me 4 ngarkesa qe perfaqesojne sherbime te ndryshme ne qendrat e te dhenave ne sektoret e internetit.
WEBMAIL (adresimi)
Perfaqeson sherbimet interaktive ne internet duke perdorur Web 2.0 aplikim. Perdor PHP bazuar ne SquirrelMail server qe eshte ne krye te APACHE. Serverat SMTP dhe IMAP jane instaluar ne nje makine qe perdorin korierin imap dhe exim. (veprim,taria perbehet nga sekuenca e : login, lexim email dhe attachment, pergjigje/forward/delete/move, shkruaj dhe dergo) Performanca matetsi numer I RPS per garanci te krahasueshme QoS.
YTUBE
Eshte perfaqesues I Web 2.0 per tendencat e perdorimit te mediave te pasura (fotogtafi, video) Pika jone e referimit behet sipas SPECweb2005(korporata e vleresimit te standartit te performances) krahasuar me karakteristikat e verejtura ne servera. Keshtu modifikojme faqe,fotografi, madhesite e shkarkesave dhe zgjerojme kerkesen QOS per sjelljen e modelit. Modelet jane modeluar sipas nje shperndarje ZIPF. Performanca matet si numri I kerkesave per sekonde, duke siguruar qe shkeljet QoSjane te ngjashme ne te gjithe veprimit.
Eshte perfaqeuese e ngarkeses se pune qe perdorin Web-in si platforme. Modelon drejtimin e nje grupi pune offline qe grumbullon te dhena te llojit te pershtatshem per stilin e llogarise. Perdor opensource Hadoop dhe drejton dy aplikime : 1. Marpreduce-WC (numerim te fjaleve mbi nje
2.
permbledhje te madhe 5Gb) Mapreduce Write (mbush sistemin e dosjes me fjale te rastesishme) Performanaca matet si shuma e kohes per te kryer detyren. Ngarkesa perfshin te dyja :CPU dhe IO (hyrjedaljet)
Workload websearch
Description
Perf metric
webmail
ytube mapreduce
Open source Nutch-0.9, Tomcat 6 with clustering, and Apache2. 1.3GB Request-per- sec (RPS) w/ QoS index corresponding to 1.3 million indexed documents, 25% of index terms cached in memory. 2GB Java heap size. QoS requires >95% queries take <0.5 seconds. Squirrelmail v1.4.9with Apache2 and PHP4, Courier-IMAP v4.2 and RPS w/ QoS Exim4.5. 1000 virtual users with 7Gb of mail stored. Email/attachment sizes and usage patterns modeled after MS Exchange 2003 LoadSim heavy users. QoS requires >95% requests take <0.8 second. Modified SPECweb2005 Support workload with Youtube traffic RPS w/ QoS characteristics. Apache2/Tomcat6 with Rock httpd server. Hadoop v0.14 with 4 threads per CPU and 1.5GB Java heap size. We study Execution time two workloads - distributed file write (mapred-wr) and word count (mapred-wc)
Metriks dhe Modele (Karakteristika e vecante e ecurise se nje programi dhe Modelet)
Modeli i kostos
Metriks
Celesi i performances/cmimi metrik per mjedisin e sektorit te internetit eshte ecuria e qendrueshme (Perf) e ndare nga kostoja totale e pronesise ( shkurt njihet si TCO- $). Per performancen perdorim perkufizimin specifik si ne tab1 Per koston totale perdorim koston qe lidhen me bazen hardware, fuwine e rendeses, ftohjen dhe gjendjen reale. Te tjera metrikse jane: Performance-per-Watt (Perf/W) , njesia matese e energjise Kosto specifike per Infrastrukture (Perf/inf- $), performanca e kostos specifkie Performanca e kostos per fuqi dhe ftohje, (Perf/P&C-$ ).
1. 2. 3.
Dy komponentet kryesore te modelit tone te kostos jane: (1) shpenzimet baze te hardware, Kemi parasysh ketu komponente si: CPU, memorie, disk, bord, energji dhe ftohje (Power&Cool). I grumbullojme keto kosto ne nivelin dysheme, dhe e konsiderojme kosto shtese te mbylljes ne ate nivel. Te dhenat I marrim n ga kompani te ndryshme. (2) shpenzimet baze te energjise se renduar dhe shpenzimet e ftohjes. Kemi dy nenkomponente.: Ne fillim ne perllogarisim konsumin dysheme te nivelit te energjise (konsumi P), e cila llogaritet si (CPU, memorie, disk, energji-dhe-ftohje) dhe pjesa tjeter e bordit ne nivel per server. Se dyti, u perdor konsumi P si input per te percaktuar koston e renduar te energjise.
PowerCoolCost (kostoja e energjise se ftohjes) = (1 + K1+L1 +K2 * L1) * Us, grid * Pkonsumi
Ky model e konsideron energjine renduar dhe kostot e ftohjes te perbera nga shpenzimet e energjise elektrike ne nivel dysheme, kostot e infrastruktures se amortizuar per shperndarjen e energjise (K1), kostot e energjise elektrike per ftohje (L1) dhe shpenzimet e amortizuara te kapitaleve per infrastrukturen e ftohjes (K2) .
Vleresimi i performances:
Per te vleresuar performancen,eshte perdorur nje simulim COTSon i HP Labs, i cili eshte i bazuar ne infrastukturen e AMD SimNow. Ky eshte nje sistem i plote i vlefshem per simulatoret x86/x86-64 qe mund te startoje nje Linux OS (sistem operativ linux) te pamodifikuar dhe te ekzekutoje aplikacionet komplekse. Simulatori pershtet ne nje procesor 64-bit Debian Linux.
3. Projektimi i Serverit te Ri
3.1 Analiza e kostos dhe menyrat e Marrjes se te Dhenave. Figura 1(a) liston kostot e komponenteve hardware,fuqine baze te konsumit, dhe kostot e renduara te energjise dhe ftohjes per dy konfigurimet e serverave ekzistuese (srvr1 dhe srvr2). Figura 1(b) paraqet nje diagrame te rrumbullaket te shpenzimeve totale per srvr2 e ndare si infrastruktura (HW) dhe energjia e renduar dhe ftohjes (P&C).
Te dhenat tona tregojne disa drejtime interesante. Se pari, kostot e energjise dhe ftohjes jane te krahasueshme me kostot e hardware. Kjo eshte ne perputhje me studimet e fundit nga Ngarkesat e punes te sektorit te internetit qe theksojne te njejten tendence .Per me teper, hardware CPU dhe energjia dhe ftohja CPU jane dy komponentet me te medha te shpenzimeve totale (duke kontribuar 20% dhe 22% respektivisht). Megjithate, mund te shihet se nje numer i komponenteve te tjere kontribuojne se bashku ne menyre te barabarte ne shpenzimet e pergjithshme. Si rrjedhoje, per te arritur me te vertete performanca bindese, zgjidhjet duhet te adresojne komponente te shumta ne menyre teresore. Me poshte, shqyrtojme nje zgjidhje te tille teresore.
1.
A Mund te zvogelojme shpenzimet e pergjithshme nga CPU (hardware dhe energji), duke perdorur vellimin e larte me kosto te ulet dhe energji te ulet (por edhe me performancete ulet ) te procesoreve Non-server?
3. A mund te zvogelojme shpenzimet e pergjithshme per Memorjen, duke bere ndarjen e kujteses?
2.
pergjithshme per komponentin disk duke perdorur disqe me energji me te ulet (por edhe performance te ulet), mundesisht me zhvillim jo te paqendrueshem te Memorjes?
Ti pergjigjemi seciles nga keto pyetje ne hollesi nuk eshte e mundur brenda kufizimeve te hapesires te ketij projekti. Se pari do te vleresojme, nese fitimet e konsiderueshme jane te mundshme ne secilen nga keto fusha, kur arkitektura shihet nga perspektiva e ansamblit dhe jo si nje koleksion i sistemeve individuale. dhe Se dyti, ne qofte se kombinimi i permiresimeve ne secilen prej ketyre fushave mund te coje ne nje dizajn te pergjithshem qe permireson ndjeshem gjendjen aktuale te artit. Me poshte,do vleresojme secilen prej ketyre ideve ne menyre te izoluar (pika 3.2 - 3.5), dhe pastaj marrim ne konsiderate perfitimet neto kur keto zgjidhje jane perdorur se bashku (pika 3.6).
Ndersa serverat per bazat e te dhenave jane fokusuar tradicionalisht ne marrjen e performances me te larte per serverin, natyra e shkallezimeve te sektorit te internetit lejon per nje fokus mbi ecurine e $ duke shfrytezuar sistemet qe ofrojne nje performance superiore. Ne te vertete, botime nga kompanite e medha te sektorit te internetit te tilla si Google shfaqin dobine e ndertimit te serverave duke perdorur pjese nga personal kompjutera desktop. Intuita eshte se vellimi drejton koston. Ne krahasim me serverat qe kane nje treg te kufizuar dhe kufijte me te larte te cmimeve, PC tregon te kete nje treg shume me te medha qe lejon per cmime me te ulta. Pervec kesaj, keto procesore nuk perfshijne kostot shtese per karakteristika si mbeshtetje multiprocessor dhe te avancuara qe jane bere te teperta nga mbeshtetja e besueshmerise ne rafte software per Ngarkesat e punes te sektorit te internetit. Per studim jane marre ne konsiderojme gjashte konfigurime te ndryshme te sistemit (Tabela 2).
Srvr1 perfaqeson sistemet e serverave me nivel te mesem Srvr2 perfaqeson sistemet e serverave me fund te ulet tavolina(desk) perfaqeson sistemet e serverave desktop, mobl paraqet sistemet mobile emb1 perfaqeson nje sistem te ilustruar te nivelit te mesem emb2 perfaqesojne nje sistem te ilustruar te nivelit fund te ulet
Te gjitha serverat e kane memorjen 4GB, duke perdorur teknologjite e: FB-DIMM (srvr1, srvr2), DDR2 (desk, mobl, emb1) ose DDR1 (emb2). Srvr1 ka nje disk 15k RPM dhe nje 10 Gigabit NIC, ndersa te gjithe te tjeret kane nje disk 7.2k RPM dhe nje 1 Gigabit NIC.
Figura2:Permbledhje e perfitimeve nga perdorimi me kosto te ulet te ulet te energjise se CPU nga shitja e jo serverave.
Figura 3: Arkitektura e re e propozuar e ftohjes. Ftohjet e grumbulluara dhe te ngjeshura mund te ulin shpenzimet totale pa ndikuar ne performance.
(b) Ngadalsime duke prdorur zvendsim t rastit pr 25% t nivelit t par madhsin e kujtess
(c) Kostoja neto dhe fuqia efficiencies (a) Arkitektura e memories Blade
Dy harta te unifikuara: Bazuar ne vezhgimet e mesiperme, ne konsiderojme dy arkitektura te reja per sektorin e internetit. Dizajn jone N1 perfaqeson nje zgjidhje praktike ne afatshkurter, ai perdor blade celular me hyrje te dyfishte te rrethimit dhe airflow drejtuar, por nuk perfshin shkembimin e kujteses ose flash disk caching baze me disqe te levizshme. Design yne N2 perfaqeson nje zgjidhje te mundshme afatgjate, ai perdor blades te ngulitur me ftohje te agreguar duke vendosur ne nje mur me drejtim te rrjedhjes se ajrit. Ne perdorim ndarjen e kujteses dhe disqet me flash disk caching baze me energji te ulet ne distance per te lejuar kete nivel te kontaktit. Disa nga ndryshimet e kerkuara per te marre konfigurimin N2 komponentet doganore, kane mundesi te behen kosto-efektive brenda pak viteve me volum ne kete treg.
Vleresimi: Figura 5 tregon se si dy zgjidhjet tona sigurojne permiresime te konsiderueshme te kostos dhe efikasitetin e energjise ne krahasim me sistemin srvrl baze. Duke u ndalur ne provat e ytube dhe mapreduce, performance/TCO-$ (Figura 5) permireson zgjidhjen aktuale te gjenerates (Nl) dhe zgjidhjen e gjenerates se ardhshme (N2). Figura 5 tregon se keto perfitime jane njesoj nga kostot e infrastruktures dhe kursimeve te energjise.