IDZ DO

PRZYKADOWY ROZDZIA
SPIS TRECI

KATALOG KSIEK
KATALOG ONLINE
ZAMW DRUKOWANY KATALOG

TWJ KOSZYK
DODAJ DO KOSZYKA

CENNIK I INFORMACJE
ZAMW INFORMACJE
O NOWOCIACH
ZAMW CENNIK

CZYTELNIA
FRAGMENTY KSIEK ONLINE

Windows Server 2003.

Wysoko wydajne rozwizania
Autorzy: Jeffrey R. Shapiro, Marcin Policht
Tumaczenie: Pawe Gonera
ISBN: 83-246-0246-1
Tytu oryginau: Building High Availability Windows Server
(TM) 2003 Solutions (Microsoft Windows Server System)
Format: B5, stron: 472

Zbuduj wydajne rodowisko Windows Server

Dobierz sprzt odpowiedniej jakoci
Wykorzystaj mechanizmy klastrowania do osignicia maksymalnej dostpnoci
Zapobiegaj awariom i przestojom w pracy serwerw
Platforma Windows Server 2003 zyskuje coraz wiksz popularno. Firmy odchodz
od rozwiza opartych na innych technologiach, uruchamiajc serwery wykorzystujce
t wanie platform. Jednak wymiana systemu operacyjnego na inny nie jest prostym
zadaniem. Podczas wdraania rodowiska Windows Server 2003 naley uwzgldni
wiele czynnikw, dziki ktrym system pozostanie niezawodny przez 24 godziny na
dob, 7 dni w tygodniu, 365 dni w roku.
Ksika Windows Server 2003. Wysoko wydajne rozwizania przedstawia
praktyczne zagadnienia zwizane z wdraaniem i administrowaniem systemami
operacyjnymi z rodziny Windows Server 2003. Opisuje proces planowania oraz
implementacji rozwiza opartych na klastrach, mechanizmach rwnowaenia
obcienia i technikach szybkiego przywracania serwerw do pracy po awariach
i aktualizacjach. Ilustrowane przykadami zagadnienia oraz atwe do wykorzystania
instrukcje pomog Ci podj szybkie i trafne decyzje.
Wybr sprztu
Pamici masowe przeznaczone dla serwerw
Projektowanie sieci o maksymalnej dostpnoci
Klasteryzacja Windows
Wysoko wydajne serwery wydrukw i plikw
Maksymalizacja wydajnoci i dostpnoci SQL Servera oraz Exchange Servera
Rwnowaenie obcienia
Korzystanie z Microsoft Operation Manager

Wydawnictwo Helion
ul. Kociuszki 1c
44-100 Gliwice
tel. 032 230 98 63
e-mail: helion@helion.pl

Chcesz zmaksymalizowa dostpno, skalowalno i wydajno rodowiska Windows

Server? Koniecznie signij po t ksik.

Spis treci
O autorach .................................................................................................15
Wstp .........................................................................................................17

CZ I

Wysoko wydajne przetwarzanie danych w Windows ..................... 23

Rozdzia 1. wiat przetwarzania wysoko wydajnego

i wysokiej dostpnoci w Windows ...........................................................25
Wstp ..............................................................................................................25
Poziom usugi ..................................................................................................26
Dostpno .....................................................................................................28
Wysoka dostpno, czas wyczenia i awarie ...............................................31
Skalowanie dostpnoci w poziomie i Windows Server 2003 ....................... 35
Klasteryzacja ..................................................................................................... 36
Pionowe skalowanie dostpnoci .................................................................... 36
Skalowanie pionowe czy poziome? ................................................................. 37
Udostpnianie wszystkiego a nieudostpnianie niczego ............................... 38
Wysoko wydajne przetwarzanie danych ........................................................39
Potrzeba przetwarzania wysoko wydajnego ................................................... 39
Przetwarzanie wysoko wydajne dla kadego .................................................. 40
Superkomputer w kadej szafie ....................................................................... 41
Przetwarzanie i pami .................................................................................... 42
Komponenty wysoko wydajne ......................................................................... 42
Microsoft i Cornell Theory Center ................................................................. 43
Podsumowanie ................................................................................................44

Spis treci

Rozdzia 2. Wybr sprztu o wysokiej wydajnoci .......................................................45

Wstp ..............................................................................................................45
Standardy, dostawcy i zdrowy rozsdek .........................................................46
Dostawcy .......................................................................................................... 47
Zdrowy rozsdek .............................................................................................. 47
Wybr CPU .....................................................................................................48
Pami .............................................................................................................50
DRAM .............................................................................................................. 51
DRAM z EDO ................................................................................................. 52
Synchroniczne pamici DRAM ....................................................................... 52
Pamici Rambus DRAM (RDRAM) ............................................................... 53
Podsumowanie ................................................................................................54

Rozdzia 3. Pamici masowe dla systemw o wysokiej dostpnoci ............................55

Wstp ..............................................................................................................55
Redundancja i dostpno pamici masowej .................................................56
Repetytorium z RAID ....................................................................................61
RAID 1 .............................................................................................................. 64
RAID 5 .............................................................................................................. 65
RAID 10 ............................................................................................................ 66
Kontrolery RAID ............................................................................................. 67
Pamici masowe doczane do serwera ..........................................................70
Pamici masowe doczane do sieci (NAS) ....................................................73
Sieci pamici masowych (SAN) ......................................................................76
Pamici masowe korzystajce z IP .................................................................83
Podsumowanie ................................................................................................87

Rozdzia 4. Sieci o wysokiej dostpnoci ......................................................................89

Wstp ..............................................................................................................89
Projekt szkieletu o wysokiej dostpnoci .......................................................90
Uwagi na temat przepustowoci .....................................................................91
Ethernet ............................................................................................................ 92
Czego oczekujemy od kart sieciowych ........................................................... 94
Koncentratory, przeczniki i routery ............................................................. 96
Przeczniki warstwy 2. ................................................................................... 97
Warstwa 3., warstwa 4. i kolejne ................................................................... 100
Routery i routing w architekturze o duej dostpnoci ............................... 100
Zastosowanie koncentratorw do pocze zapewniajcych prac
pomimo awarii ................................................................................................ 101
Podstawy topologii SAN ...............................................................................102
Fibre Channel ................................................................................................ 103
Topologia SAN ............................................................................................... 105
Porty ................................................................................................................ 105
Topologia punkt-punkt .................................................................................. 106
FC-AL ............................................................................................................. 106

Spis treci

Fabric .............................................................................................................. 107

Tworzenie stref ............................................................................................... 108
Projektowanie topologii SAN na potrzeby wysokiej dostpnoci ................109
Podsumowanie ..............................................................................................111

Rozdzia 5. Przygotowanie platformy dla sieci o wysokiej wydajnoci ......................113

Wstp ............................................................................................................113
Podstawy architektury ..................................................................................115
Tworzenie planu projektu ............................................................................. 116
Cele projektu .................................................................................................. 116
Komponenty projektu .................................................................................... 117
Decyzje projektowe ....................................................................................... 118
Skutki projektu ............................................................................................... 120
Logiczna architektura usug Active Directory .............................................121
Plan lasu dla systemw o wysokiej dostpnoci ...........................................123
Pojedynczy wykaz globalny ........................................................................... 125
Przestrze nazw domeny ..............................................................................126
Zewntrzne nazwy domen DNS ................................................................... 128
Kontrolery domeny (DC) ............................................................................... 128
Dziaanie z wieloma serwerami gwnymi (wykazami globalnymi) ............ 129
Praca z jednym serwerem gwnym (role FSMO) ....................................... 130
Wzorzec schematu ......................................................................................... 131
Wzorzec nazw domen .................................................................................... 131
Wzorzec RID (identyfikatorw wzgldnych) ............................................... 131
Emulator podstawowego kontrolera domeny ............................................... 132
Wzorzec infrastruktury .................................................................................. 133
Pozostae role kontrolerw domeny .............................................................. 134
Preferowany kontroler domeny administracji zasad grupy (GPDC) .......... 134
Usuga czasu ................................................................................................... 135
Jednostki organizacyjne ................................................................................. 135
Repetytorium z zasad grupy .......................................................................... 139
Zasady hase .................................................................................................... 144
Dziennik zdarze ........................................................................................... 151
Obiekty zasad grupy dla klastrw serwerw ................................................ 151
Fizyczna architektura Active Directory .......................................................153
Podsieci ........................................................................................................... 153
cza lokacji ................................................................................................... 158
Koszt ............................................................................................................... 159
Harmonogram replikacji oraz powiadomienia ............................................. 160
Protokoy transportowe .................................................................................. 161
Obiekty poczenia ......................................................................................... 162
Mostek czy lokacji ....................................................................................... 163
Ukad i topologia lokacji ................................................................................ 163
Usuga DDNS (dynamiczny DNS) zintegrowana z Active Directory .........164
Architektura serwera DNS ............................................................................ 165
Lokacje wzowe ............................................................................................ 166

Spis treci

Administracja serwerami DNS ...................................................................... 167

Konfiguracja DDNS ...................................................................................... 168
Usuga WINS ................................................................................................168
Lokacje wzowe ............................................................................................ 169
Administracja serwerami WINS ................................................................... 170
Protok DHCP (Dynamic Host Control Protocol) .....................................171
Architektura usugi DHCP ............................................................................ 171
Parametry usugi DHCP ............................................................................... 172
Szczegy zakresu .......................................................................................... 172
Konwencje nazewnictwa ..............................................................................173
Podsumowanie ..............................................................................................175

Rozdzia 6. Budowanie podstaw architektury wysoko dostpnej ..............................177

Wstp ............................................................................................................177
Podstawy klasteryzacji Windows ..................................................................178
Model klastra .................................................................................................. 179
Zasb kworum ................................................................................................ 184
Scenariusze instalacji ..................................................................................... 185
Proces tworzenia lasu ...................................................................................186
Instalacja serwera pomocniczego .................................................................. 187
Instalacja .......................................................................................................189
Instalacja domeny gwnej ...........................................................................190
Proces .............................................................................................................. 190
Zapewnienie jakoci ......................................................................................195
Przygotowanie lasu, DNS oraz Exchange ....................................................196
Instalacja serwerw czoowych i domeny podrzdnej .................................199
Instalowanie usugi DHCP oraz WINS .......................................................206
Instalowanie poprawek i aktualizacja kontrolerw domeny ........................208
Przygotowanie domeny Exchange ................................................................209
Tworzenie pocztkowych usug i zasobw administracyjnych ....................210
Klasteryzacja .................................................................................................212
Tworzenie zasobw dyskw udostpnionych ............................................... 212
Przygotowanie sieci klastra ............................................................................ 213
Uruchomienie kreatora klastra serwerw ..................................................... 214
Rozwizywanie problemw ........................................................................... 221
Podsumowanie ..............................................................................................223

Cz II

Tworzenie wysoko wydajnych systemw Windows Server 2003 ......225

Rozdzia 7. Serwery wydruku o wysokiej wydajnoci ................................................227

Wstp ............................................................................................................227
Specyfikacja projektu ....................................................................................228
Instalacja .......................................................................................................231
Instalacja zasobw bufora wydruku .............................................................. 232
Podsumowanie ..............................................................................................233

Spis treci

Rozdzia 8. Serwery plikw o duej wydajnoci .........................................................235

Wstp ............................................................................................................235
Skalowanie poziome a pionowe ....................................................................236
Projekt ...........................................................................................................238
Opracowanie systemu laboratoryjnego ......................................................... 240
Konfiguracja sprztu ...................................................................................... 241
Konfiguracja usug klastra dwuwzowego .................................................. 241
Instalacja standardowej konfiguracji systemu plikw .................................. 241
Definiowanie i implementowanie procedur tworzenia
i przywracania kopii zapasowych .................................................................. 242
Tworzenie planu zabezpiecze serwera plikw ........................................... 242
Konfigurowanie katalogu gwnego systemu plikw DFS domeny ........... 242
Konfiguracja narzdzi administracyjnych serwera plikw .......................... 242
Definiowanie i implementacja strategii antywirusowej
dla serwerw plikw ...................................................................................... 243
Oglna konfiguracja ....................................................................................... 243
Konfigurowanie klastra serwerw plikw ..................................................... 244
Instalacja .......................................................................................................246
Standardowy udzia plikw ........................................................................... 246
Udostpnianie lub ukrywanie podkatalogw ............................................... 246
Instalowanie zasobu udziau plikw ............................................................. 247
Zapewnienie wysokiej dostpnoci z uyciem replikacji i DFS domeny ...........248
Podsumowanie ..............................................................................................253

Rozdzia 9. SQL Server w rozwizaniach o wysokiej dostpnoci i wydajnoci ..........255

Wstp ............................................................................................................255
Skalowanie poziome a skalowanie pionowe w Microsoft SQL Server ........256
Projekt ...........................................................................................................258
Praca awaryjna w SQL Server ......................................................................260
Specyfikacja projektu klastra SQL Server ....................................................261
Dokumentowanie zalenoci ......................................................................... 261
Konfiguracje aktywno-pasywne SQL Server ............................................... 262
Konfiguracja aktywno-aktywna i wiele instancji .......................................... 262
Konfiguracje N+1 .......................................................................................... 264
Dyski fizyczne ................................................................................................ 266
Pami ............................................................................................................. 269
Dyski lokalne .................................................................................................. 270
Usugi rezerwowe wady i zalety ............................................................... 271
Klasteryzacja SQL Server .............................................................................272
Uwagi na temat wysokiej wydajnoci i dostpnoci .....................................279
Uwagi na temat pamici dyskowej ................................................................ 279
Zasoby pracy awaryjnej ................................................................................. 280
Program Enterprise Manager ....................................................................... 281
Transakcje i dzienniki .................................................................................... 282
Konfiguracja i planowanie ............................................................................284

10

Spis treci

Rola replikacji ...............................................................................................285

Przywracanie po awarii .................................................................................287
Wysoka dostpno dla usug analitycznych (OLAP) ..................................288
Klasteryzacja usug analitycznych ................................................................. 289
Tworzenie grupy Administratorzy OLAP domeny ...................................... 291
Rozwizywanie problemw z klasteryzowanymi usugami
analitycznymi SQL Server 2000 i najlepsze praktyki .................................. 299
Rozwizywanie problemw, konserwacja i najlepsze praktyki ....................299
Fragmentacja .................................................................................................. 300
Systemowe programy do tworzenia kopii zapasowych ................................ 301
Oprogramowanie antywirusowe ................................................................... 301
Aktualizacja Windows .................................................................................... 301
Aplikacja MBSA ............................................................................................. 302
Podsumowanie ..............................................................................................302

Rozdzia 10. Serwer Exchange o duej wydajnoci i wysokiej dostpnoci ..................303

Wstp ............................................................................................................303
Skalowanie poziome a skalowanie pionowe w Microsoft Exchange ............305
Projekt ...........................................................................................................306
Architektura grup pamici masowych .......................................................... 310
Pliki dziennika transakcji ............................................................................... 313
Katalog kolejki SMTP .................................................................................... 313
Uprawnienia Exchange w architekturze klastra ..........................................314
Podstawy klasteryzacji Exchange 2003 ........................................................315
Instalowanie Exchange na wzach klastra .................................................. 315
Serwer wirtualny Exchange .......................................................................... 319
Grupy klastrw ............................................................................................... 320
Konfiguracje klastra ....................................................................................... 321
Adresy IP oraz nazwy sieciowe ..................................................................... 324
Tworzenie grupy MSDTC ............................................................................. 325
Tworzenie serwera EVS ................................................................................ 325
Tworzenie zasobu Exchange 2003 System Attendant ................................. 330
Konfigurowanie klastra serwerw zaplecza .................................................. 335
Podsumowanie ..............................................................................................335

Rozdzia 11. Rwnowaenie obcienia .......................................................................337

Wstp ............................................................................................................337
Skalowanie poziome kolejne podejcie ...................................................338
Odporno na bdy oraz wysoka dostpno systemu NLB .......................339
Rwnowaenie obcienia dla zapewnienia wysokiej wydajnoci ...............340
Wspdzielenie obcienia serwerw ........................................................... 341
Serwery wirtualne .......................................................................................... 341
Czego nie da si skalowa .............................................................................. 342
Wybieranie kandydatw dla klastrowania NLB ........................................... 344
Architektura rwnowaenia obcienia sieciowego .....................................345

Spis treci

11

Projektowanie klastra NLB ..........................................................................348

Specyfikacja projektu ..................................................................................... 348
Reguy portw ................................................................................................ 353
Tworzenie i konfiguracja klastra NLB .......................................................... 356
Przykadowy klaster NLB: IIS ...................................................................... 361
Przykadowy klaster NLB: Usugi terminalowe ........................................... 361
Rwnowaenie obcienia i serwery aplikacji COM ..................................... 364
Wielowarstwowe farmy serwerw ................................................................ 366
Zarzdzanie klastrem NLB ...........................................................................367
Administrowanie klastrem NLB ................................................................... 367
Rozwizywanie problemw ........................................................................... 369
Przywracanie po awarii .................................................................................. 369
Podsumowanie ..............................................................................................370

Rozdzia 12. Serwer IIS .................................................................................................371

Wstp ............................................................................................................371
IIS 6.0 jako dedykowany serwer WWW ......................................................372
Skalowanie pionowe a poziome serwera IIS ................................................378
Cykliczny serwer DNS .................................................................................. 379
Rwnowaenie obcienia ............................................................................. 380
Rwnowaenie obcienia dla IIS ................................................................382
Planowanie i konfiguracja .............................................................................383
Pami masowa dla IIS .................................................................................. 389
Usuga FTP ..................................................................................................... 390
Rozwizywanie problemw ..........................................................................392
Utrzymanie klastra serwerw IIS .................................................................394
Przywracanie po awarii .................................................................................395
Najlepsze praktyki ........................................................................................395
Podsumowanie ..............................................................................................396

Rozdzia 13. Wyszukiwanie problemw: konfiguracja monitorowania

wydajnoci oraz alerty .............................................................................397
Wstp ............................................................................................................397
Poznajemy systemy monitorowania w Windows Server 2003 .....................399
Podgld zdarze ............................................................................................. 400
Przegld obiektw monitorowania systemu i wydajnoci ............................ 403
Prdko i przepustowo .............................................................................. 404
Przedstawiamy kolejk robocz .................................................................... 404
Czas odpowiedzi ............................................................................................ 405
Jak dziaaj obiekty wydajnoci ..................................................................... 405
Narzdzia monitorowania systemu ............................................................... 407
Korzystanie z konsoli Wydajno i Monitora systemu ................................. 407
Jak korzysta z monitora systemu ................................................................. 408
Dzienniki wydajnoci i alerty ........................................................................ 410
Zastosowanie dziennikw i alertw .............................................................. 412

12

Spis treci

Monitorowanie serwerw .............................................................................. 413

Monitorowanie wskich garde ..................................................................... 414
Przedstawiamy obcienie serwerw ........................................................... 416
Wskazwki na temat monitorowania wydajnoci ......................................... 418
Microsoft Operations Manager ....................................................................419
Byskawiczna instalacja MOM .....................................................................422
Sprawdzenie wymaga sprztowych i programowych ................................ 424
Konta usugi MOM ........................................................................................ 425
Okrelanie rozmiaru bazy danych MOM ..................................................... 426
Projekt ............................................................................................................. 427
Uwagi na temat SQL Server .......................................................................... 428
Instalowanie baz danych MOM .................................................................... 429
Instalowanie pierwszego serwera zarzdzajcego ....................................... 434
Instalowanie konsoli administratora oraz operatora MOM ......................... 436
Wykrywanie komputerw oraz instalacja agentw ...................................... 437
Awaryjne przeczanie agentw .................................................................... 438
Instalowanie moduu System Center 2005 Reporting ................................. 439
Importowanie pakietw zarzdzania MOM 2005 ........................................ 440
Zarzdzanie pakietami zarzdzania ............................................................... 442
Podsumowanie ..............................................................................................449

Skorowidz ................................................................................................451

Rozdzia 1. wiat przetwarzania wysoko wydajnego

25

ROZDZIA 1.

wiat przetwarzania
wysoko wydajnego i wysokiej
dostpnoci w Windows

Wstp
W tym rozdziale przedstawimy przegld poj zwizanych z wysok dostpnoci (HA), przetwarzaniem wysoko wydajnym (HPC) oraz z tym, w jaki sposb platforma Windows Server 2003 firmy Microsoft realizuje wymagane mechanizmy.
Rozpoczniemy od zapoznania si z podstawami poziomu obsugi, dostpnoci,
pojciami pracy pomimo usterek, nadmiarowoci, skalowalnoci, wysokiej dostpnoci, jak rwnie technologii zarzdzania dziaaniem systemu. Zapoznamy
si z zapobiegawczym zarzdzaniem systemami komputerowymi na potrzeby
wysokiej dostpnoci, a take z funkcjami reaktywnymi wymagajcymi wczeniejszego zaplanowania, na przykad usuwaniem skutkw awarii. Nastpnie zajmiemy
si wysoko wydajnymi architekturami, sprztem i oprogramowaniem.

26

Cz I Wysoko wydajne przetwarzanie danych w Windows

Gwnym punktem i przeznaczeniem tego rozdziau jest szerokie przedstawienie

tematu, ktry staje si coraz bardziej skomplikowany. Nastpnie, w kolejnych
rozdziaach, zostan omwione szczegy. Przedstawimy tu nowe terminy, wyjanimy stare, kilka z nich przedefiniujemy, a nastpnie przygotujemy grunt do
przedstawienia nowoci, jakie firma Microsoft dodaa do swojego najnowszego
systemu operacyjnego (maj one wspomc zesp zarzdzajcy oraz analitykw
systemu i architektw).
Zanim rozpoczniemy t podr, wspomnimy dwie publikacje, ktre w znacznym stopniu wpyny na nasz sposb postrzegania krytycznych systemw
Microsoft Microsoft Operations Framework (MOF) oraz Microsoft Systems Architecture (MSA).
MOF zawiera wiele informacji na temat tworzenia architektury dziaania, planowania operacji, zarzdzania zmianami, funkcji zabezpiecze, poziomu obsugi
i tak dalej. MSA zawiera niezrwnany opis architektury sieciowej, usug przechowywania i skadowania, usug katalogowych, usug udostpniania plikw i drukarek, klasteryzacji, usug rozproszonych i tak dalej. Obie publikacje s obowizkowymi lekturami dla kadego architekta systemw wysoko dostpnych. MSA
zawiera rwnie tak zwane Solution Accelerators (przyspieszacze rozwiza),
ktre pomagaj przy planowaniu, testowaniu i uruchamianiu rnych systemw.
Przy projektowaniu architektury systemw mona zastosowa kilka podej.
W ksice tej autorzy uywaj podejcia bazujcego na modelu Zachman. Z modelem Zachman mona si zapozna, przegldajc witryn www.zachmanframe
work.com, ktra jest prowadzona przez Zachman Institute for Framework Advancement (ZIFA).

Poziom usugi
Poziom usugi to najczciej naduywany termin w zarzdzaniu sieciami LAN
i technologiami serwerowymi. To niewaciwe uywanie terminu wynika z istnienia wielu interpretacji. Na przykad, niektrzy menaderowie i analitycy korzystaj
z tego terminu do okrelenia, jak dostpny jest lub powinien by pojedynczy
system komputerowy. Moe by to prawda w wiecie schykowych systemw,
ktre byy w wikszym stopniu monolitami, a nie zbiorem rozproszonych i poczonych ze sob komponentw, lub w wiecie telekomunikacji, do opisania
central i systemw PBX. Analitycy systemw i sieci s czsto proszeni o zapewnienie w systemie odpowiedniego poziomu obsugi, bez faktycznej wiedzy o tym,
co ten poziom obsugi ma zapewnia.

Rozdzia 1. wiat przetwarzania wysoko wydajnego

27

SYSTEM
Systemem moe by pojedynczy komputer, wiele serwerw (oraz klaster serwerw),
a nawet wiele lokacji serwerw. System nie jest kompletny bez administratora systemu,
bdcego osob lub komputerem, ktry wymaga rwnie operatora. Do dziaania potrzebuje on zasilania, szaf, stojakw, budynkw, ochrony przed ogniem i tak dalej.

Prby zachowania poziomu usugi i zapewnienia dziaania systemu komputerowego przez 24 godziny, 7 dni w tygodniu czsto prowadz do zego ukierunkowania usug. Lepiej unika poziomw usugi opisujcych dostpno systemw komputerowych; zamiast tego powinno si podawa ilo czasu w okresie
operacyjnym, przez ktry usuga lub aplikacja jest dostpna dla uytkownikw
lub subskrybentw.
Poziom usugi okrela, na ile usuga jest dostpna w okienku serwisowym. Nie
tylko sam system musi spenia wymagania poziomu usugi, ale take usuga, by
moe wykorzystujca wiele systemw i komponentw, w tym zasoby ludzkie,
musi by dostpna.
Gdy ocenimy lub okrelimy poziom usugi dla aplikacji lub usugi, na pocztek
musimy zapyta, jaki jest oczekiwany okres dziaania dla tej usugi. Gwarancja
jakoci wiadczonych usug (SLA), ktra zostanie opisana w jednym z kolejnych
punktw, jest umow, najczciej zatwierdzan przez jej podpisanie przez zainteresowane strony, w ktrej zakada si, e usuga bdzie dostpna przez wikszo
czasu w okresie operacyjnym.
Na pocztek naley zdefiniowa pojcie okresu operacyjnego. Czy usuga jest
wymagana przez 12 godzin dziennie, 18 godzin, czy te przez ca dob? Po
ustaleniu okresu operacyjnego musimy dowiedzie si, przez jaki czas w okresie
operacyjnym firma lub uytkownik usugi moe tolerowa przerwy w pracy
usugi. Jeeli okresem operacyjnym jest 12 godzin i w tym czasie wymagane jest
nieprzerwane dziaanie usugi, to wymaganym poziomem usugi jest 100 procent.
Jeeli uytkownik lub firma moe tolerowa, zamy, 45-minutowy okres przestoju
w oknie operacyjnym, to poziom usugi moe by ustalony na 90 lub 95 procent.
Po okreleniu i uzgodnieniu poziomu usugi, specjalici IT oraz analitycy systemw mog rozpocz budowanie systemu skadajcego si z komponentw
sprztowych i programowych, ktre musz by dostpne przez czas okrelony
w SLA. Parametr ten jest nazywany dostpnoci i jest mu powicony nastpny
punkt. W tabeli 1.1 przedstawione s przykady kategorii wymaganego poziomu
usugi w typowej, obcionej witrynie handlu elektronicznego.

28

Cz I Wysoko wydajne przetwarzanie danych w Windows

Tabela 1.1. Kategorie poziomu usugi dla witryny handlu elektronicznego

Kategoria
poziomu usugi

Wymagany poziom usugi

Godziny dziaania

Usuga musi by dostpna 247365.

Nie powinno by wycze w czasie planowanej konserwacji komponentw.
Jedynym dozwolonym przypadkiem zawieszenia usugi jest przypadek
powanego zagroenia bezpieczestwa, na przykad atak na serwery,
gdy konieczne jest zapobieenie uszkodzeniu serwerw.

Usuga musi by w stanie obsuy co najmniej 2500 jednoczesnych pocze

Wydajno

bez zauwaalnego przez uytkownikw obnienia szybkoci dziaania.

Opnienie pomidzy przesaniem i potwierdzeniem nie powinno by wiksze

od dwch sekund.

System musi obsugiwa okoo 25 000 transakcji na godzin.

WSKAZWKA: W czasie negocjowania umowy SLA naley rozway wszystkie
aspekty dostpnoci systemu, w szczeglnoci zarzdzanie dziaaniami, ktre
zawsze obejmuje zarzdzanie zasobami ludzkimi. Nawet w najbardziej dostpnych systemach wymagani s operatorzy, poniewa nie istniej systemy,
ktre nigdy nie ulegaj awariom.

Ksika ta nie jest forum dyskusyjnym na temat SLA; dobrym rdem informacji na ten temat jest konsorcjum International Engineering Consortium (IEC),
ktrego witryna jest dostpna pod adresem www.iec.org.

Dostpno
Systemy, jakie opracowujemy w celu spenienia okrelonych potrzeb biznesowych lub operacyjnych, powinny by dostarczane i budowane w taki sposb,
aby speni uzgodniony poziom usugi. Mona si z tym nie zgadza i dowodzi,
e podstawowym wymaganiem jest bezpieczestwo systemu, integralno danych
lub cena. Oczywicie zagadnienia te s wane i s one czci zadania.
Integralno systemu, bezpieczestwo i zarzdzalno s wane, ale nie musz
by one rozwaane przed okreleniem poziomu usugi. W kocu warunki zaoenia systemu wpywaj na jego dostpny potencja. Jeeli mona wama si do
systemu, bdzie on zbudowany z tanich komponentw lub le zaprojektowany,
to bdzie on mniej dostpny i przez to nie bdzie spenia wymaga poziomu
dostpnoci dla dziaajcych w nim aplikacji.

Rozdzia 1. wiat przetwarzania wysoko wydajnego

29

DOSTPNO
Dostpno mona zdefiniowa jako ilo czasu w oknie obsugi, przez ktry aplikacja
lub usuga jest dostpna dla uytkownika. Na przykad, macierze RAID to urzdzenia
pamici masowej, ktre s dostpne rwnie w przypadku awarii jednego, dwch, a nawet trzech dyskw. Nie jest to ten sam parametr co niezawodno, cho nie trzeba chyba
tumaczy, e do naszych celw naley wykorzystywa niezawodne komponenty.
Mwic o dostpnoci systemu, na przykad Exchange, mamy na myli procent czasu
(w oknie operacyjnym), przez ktry usuga dziaa i moliwe jest wysyanie i odbieranie
poczty.

Istniej rne poziomy dostpnoci. Moemy powiedzie, e system jest rednio dostpny, gdy skada si z komponentw i technologii, ktre potencjalnie
mog powodowa awarie systemu lub przerwy w dziaaniu, wpywajce na poziom usugi i powodujce amanie SLA.
Niektre mae firmy mog tolerowa dusze okresy przerwy w dziaaniu ni
wiksze firmy lub dostawcy usug, ktrzy musz wypenia swoje zobowizania.
Gdy z serwera wydruku korzysta tylko kilka osb w czasie normalnego dnia pracy
trwajcego od 9 do 17, to jego niedostpno przez godzin lub dwie nie jest
postrzegana jako krytyczne zagroenie dla dziaania firmy. Jeeli jednak w tym
samym oknie obsugi z serwera wydruku korzysta kilkaset osb, to 15-minutowa
przerwa w pracy moe mie katastrofalny wpyw na firm.
W drugim scenariuszu wiadomo, e w celu spenienia poziomu usugi i cigoci
dziaania, system musi by zbudowany z zastosowaniem architektury wysoko dostpnej i komponentw o duej wydajnoci. Wczeniej stwierdzilimy, e w przypadku mniej krytycznych potrzeb pojedynczy komputer moe suy jako serwer wydruku; jednak w drugim przypadku w celu zapewnienia poziomu usugi
wymagany jest zaawansowany klaster serwerw, zapewniajcy natychmiastowe
odtworzenie usugi w przypadku awarii jednego z wzw.
Od dawna dostpno usugi systemw komputerowych i oprogramowania bya
mierzona procentem czasu dziaania. Model dziewitkowy okrela procent dostpnoci, gdzie 99,9999 (sze dziewitek) jest wartoci najwiksz, czsto
wykorzystywan do opisania systemu poczty elektronicznej lub serwera bazy
danych, bez odpowiedniej wiedzy, do czego odwouj si te dziewitki.
Dostpno jest typowo mierzona za pomoc dziewitek. Na przykad, rozwizanie o poziomie dostpnoci trzech dziewitek jest w stanie udostpnia swoje
funkcje przez 99,9 procent czasu, co jest odpowiednikiem rocznego czasu wyczenia wynoszcego 8,76 godzin w przypadku dziaania w trybie 247365
(24 godziny dziennie, siedem dni w tygodniu, 356 dni w roku). W tabeli 1.2
wymienione s standardowe poziomy dostpnoci, ktre prbuje osign wiele
organizacji.

30

Cz I Wysoko wydajne przetwarzanie danych w Windows

Tabela 1.2. Dostpno opisana systemem dziewitkowym

Dostpno (%)

Roczny czas wyczenia dla dziaania non stop

(247365 )

99,9999

32 sekundy

99,999

5 minut i 15 sekund

99,99

52 minuty i 36 sekund

99,95

4 godziny i 23 minuty

99,9

8 godzin i 46 minut

99,5

1 dzie, 19 godzin i 48 minut

99

3 dni, 15 godzin i 40 minut

95

18,25 dnia

90

36,5 dnia

Sze dziewitek (99,9999 procent) oznacza, e rocznie system nie moe by

wyczony duej ni przez 32 sekundy rocznie. Jasne jest, e w XXI wieku jest
to niemoliwe do osignicia. Zwyky system Windows 2003 Server musi by
regularnie restartowany, aby mg zacz korzysta z poprawek zabezpiecze
oraz aktualizacji.
System zaprojektowany dla trzech dziewitek jest bardziej realistyczny i jest
w stanie speni uzgodniony poziom obsugi 99,9% czasu dziaania, co jest odpowiednikiem 8,76 godzin wyczenia na rok dla okna dziaania 247365. W tabeli
1.2 pokazane jest, jak procenty przekadaj si na faktyczny czas wyczenia.
Zanim przejdziemy do zastosowa praktycznych, zastosujemy bardziej naukowe
podejcie i wrcimy do wspczynnikw rwnania dostpnoci. Dostpno jest
faktycznie funkcj dwch czynnikw: redniego czasu midzy awariami (MTBF)
oraz redniego czasu naprawienia usterki (MTTR). Oba te czynniki s mierzone
w godzinach, dlatego mona zastosowa nastpujce rwnanie:
Dostpno = MTBF/(MTBF+MTTR) = .9xxxxxx

Sprbujmy nieco bardziej uszczegowi to rwnanie. Zajmujemy si tu rwnaniem dajcym w wyniku prawdopodobiestwo awarii komponentu. MTBF
okrela redni odstp czasu, mierzony w tysicach lub dziesitkach tysicy godzin
pracy (nazywanych rwnie godzinami czasu dziaania lub POH), a do wystpienia awarii komponentu. Dlatego MTBF jest obliczany za pomoc nastpujcego
rwnania:
MTBF = (redni czas cakowity czas przestoju) / liczba awarii

MTTR to redni czas (zwykle podawany w godzinach), jaki zajmuje naprawienie

komponentu. Dlatego jeeli system oferuje MTBF rwne 60 (tysicy godzin) oraz
MTTR rwne 4 godziny, to moemy wrci do dziewitek w nastpujcy sposb:

Rozdzia 1. wiat przetwarzania wysoko wydajnego

31

60/(60+4) = .9375 lub 93.75%

Przy tych obliczeniach naley korzysta z tabeli 1.2. W taki sposb mona zmniejsza niepodany lub oczekiwany czas wyczenia. Aby projektowa i tworzy
bardziej niezawodne systemy, naley wic stosowa konfiguracje nadmiarowe
lub odporne na awarie. Inaczej mwic, jeeli twardy dysk osignie milionow
godzin pracy i zawiedzie, ostatni rzecz, jak bdziemy si przejmowa, jest
MTTR. Jeeli bdziemy mieli inny dysk, ktry moe zastpi uszkodzony, to kto
bdzie zajmowa si napraw dysku? Obecnie czas MTTR oznacza czas potrzebny
na zakupienie nowego dysku lub wyjcie go z magazynu. Wicej informacji na
temat nadmiarowych komponentw przedstawimy w nastpnym punkcie.
UWAGA: W wiecie systemw komputerowych MTTR jest czsto rozwijany
jako Mean Time To Restore (redni czas do odtworzenia).

Oczywicie, tak duych wspczynnikw dostpnoci nie da si osign, jeeli

wemiemy pod uwag potrzeb regularnej aktualizacji, zabezpieczania przeciwko robakom, wirusom i hakerom, a czasami wymiany uszkodzonego sprztu.
Cho formua dziewitkowa jest wygodnym wskanikiem referencyjnym, nie
jest ona standardem do okrelania dostpnoci lub wymaga poziomu usugi.
A poza tym, ilu inynierw przy budowaniu systemu zapisuje MTBF i MTTR
kadego komponentu, aby wstawi te wartoci do magicznego wzoru dla caego
systemu? W przypadku SLA, wikszo klientw nie rozumie formuy dziewitkowej i wystarcza im obietnica oczekiwanego dziennego czasu wyczenia. W dalszej czci rozdziau i w caej tej ksice bdziemy omawia warunki dostpnoci
dla rnych tworzonych przez nas usug.
Podsumowujc, na pocztek musimy okreli poziom usugi, ktry jest wymagany do zaprojektowania systemu. Nastpnie naley okreli jakiej dostpnoci
oczekujemy od systemu, aby spenia on poziom usug. Moemy okreli trzy
poziomy: niska dostpno, rednia dostpno i wysoka dostpno. Po okreleniu poziomu usugi i dostpnoci moemy zacz budowa system speniajcy
oczekiwania zarwno uytkownikw, jak i jego waciciela.

Wysoka dostpno,
czas wyczenia i awarie
System o wysokiej dostpnoci to taki, ktry spenia wymagania wysokiej dostpnoci zapisane w SLA. Moe to oznacza dowoln technologi, konfiguracj,
projekt, technik lub kombinacj tych skadnikw, ktre zapewniaj spenienie
warunkw SLA.

32

Cz I Wysoko wydajne przetwarzanie danych w Windows

PROJEKTOWANIE SYSTEMW O WYSOKIEJ DOSTPNOCI

System o wysokiej dostpnoci to system zaprojektowany w celu spenienia wymaga
poziomu usug dla aplikacji lub usugi. Taki system korzysta z rnych komponentw,
od nadmiarowych zasilaczy do zaawansowanych wzw zapewniajcych prac systemu
pomimo awarii.

Niewiele mwimy na temat planowanego czasu wyczenia. Inaczej mwic,

wiemy, e o 2 w nocy serwery musz by ponownie uruchomione w celu zakoczenia zmian wprowadzonych do systemu operacyjnego i programw, ktre s
wynikiem atania, aktualizacji lub zainstalowania pakietw Service Pack. W wiecie
duych komputerw jest to znane pod nazw programu inicjujcego adowanie
systemu (IPL) i jest to planowany okres niedostpnoci.
Nieplanowane wyczenia to wyczenia spowodowane awari serwera lub wystpujce w przypadku braku odpowiedzi z powodu awarii. Awaria ta moe by
spowodowana przez bd oprogramowania lub uszkodzenie jednego z komponentw serwera. Nieplanowane wyczenia nie s oczywicie planowane. Nie
wiemy, kiedy si zdarz. Mog wystpi w godzinach porannych, gdy serwer
jest mao obciony, lub w momencie, gdy serwer obsuguje tysice aktywnych
uytkownikw. (Wedug praw Murphyego nieplanowane wyczenie zdarza si
najczciej w momencie, gdy system lub serwer jest najbardziej obciony). Poszukujc duej dostpnoci i wysokiej wydajnoci, staramy si zminimalizowa
lub cakowicie wyeliminowa nieplanowane wyczenia. W kolejnych rozdziaach
skorzystamy ze standardw i praktyk pozwalajcych wyeliminowa wyczenie
systemu nawet w przypadku koniecznoci ponownego uruchomienia serwera.
Mona to zrealizowa za pomoc klastrowania, na pocztek przenoszc wszystkie
usugi do aktywnego wza, a nastpnie aktualizujc, atajc lub przebudowujc
pasywny serwer. Gdy naprawiony serwer zostanie uruchomiony, przenosi si do
niego usugi, przerywajc dziaanie usugi tylko na chwil, w celu przeniesienia
poczenia.
W kolejnych rozdziaach omwimy sposb pracy z komponentami i usugami,
ktrych awaria moe spowodowa utrat usugi i przestj. Przedstawiona poniej lista zawiera przykady tych usug i komponentw. Wiele z nich jest wymienionych w SLA wraz z dodatkowymi uwagami na temat sposobu ich obsugi.
Planowane wyczenia administracyjne. Obejmuje to wymian

sprztu, instalowanie nowych sterownikw, oprogramowania

podstawowego, poprawek, pakietw Service Pack oraz nowych aplikacji
wymagajcych ponownego uruchomienia komputera.
Awarie sprztu serwera. Obejmuje to awarie takich komponentw

serwera jak koci pamici, pyta gwna, karty rozszerze, interfejsy

(na przykad karty sieciowej), zasilacze, dyski, kontrolery dyskw,
procesory i wentylatory (szczeglnie wentylatory procesorw).

Rozdzia 1. wiat przetwarzania wysoko wydajnego

33

Awarie komponentw sieciowych. Obejmuje to awarie routerw,

przecznikw, koncentratorw, okablowania i kart interfejsw sieciowych.

Awarie oprogramowania. Obejmuje to wycieki pamici, ataki wirusw,

uszkodzenie plikw i danych, bdy oprogramowania i tak dalej.

Awarie lokacji. Obejmuje to awarie zasilania, zalanie, poar, huragany,

trzsienia ziemi i ataki terrorystyczne. Lokacja moe ulec uszkodzeniu

z powodu klski lokalnej (na przykad lokalnej powodzi) lub regionalnej,
takiej jak trzsienie ziemi.
Pierwsz operacj suc wykluczeniu wycze bdzie zbudowanie klastra
dziaajcego pomimo awarii, jednak, jak przedstawimy to w dalszej czci ksiki,
w skad projektu systemu o wysokiej dostpnoci wchodzi nawet sie rozlega.
Klasteryzacja jest faktycznie sposobem na zapewnienie nadmiarowoci. Systemy
komputerowe o wysokiej dostpnoci to systemy, w ktrych mona przenosi
usugi z jednego serwera na inny z zachowaniem minimalnego czasu niedostpnoci, co pozwala zapewni sta dostpno usugi. Budow klastrw dziaajcych
pomimo awarii omwimy w dalszej czci tego rozdziau, natomiast ich szczegowy opis znajduje si w czci II, Tworzenie wysoko wydajnych systemw
Windows Server 2003.
Na co jednak przyda si caa ta nadmiarowo, jeeli zniszczeniu ulegnie lokacja? Ostatnio zosta zalany budynek, w ktrym znajdowa si system komputerowy duej firmy ubezpieczeniowej z Florydy, a dodatkowo uszkodzeniu ulego
gwne zasilanie. System zosta wyczony (co miao wpyw na tysice ubezpieczonych) na niemal trzy godziny. Nasz projekt polega na przeniesieniu systemu
do lepszej lokalizacji, w ktrej mona zapewni dostpno systemu. Obecnie
ten system dziaa poza firm, ukryty w jednym z centrw operacji sieciowych,
ktrych wacicielem jest dua firma telekomunikacyjna z Miami. Budynek ten
jest w stanie przetrwa zarwno lokalne, jak i regionalne klski ywioowe, najsilniejsze huragany, moe te pracowa na wasnym zasilaniu nawet jeeli caa
Floryda zostanie pozbawiona prdu.
Takie udogodnienia stay si dostpne za rozsdn cen, poniewa wiele z centrw
byo budowanych w czasie lat boomu internetowego, a teraz s tylko czciowo
wykorzystywane. Peny stojak wraz z podczeniem do internetu dziaajcym
z ogromn prdkoci kosztuje nie wicej ni 3000 z na miesic.
Wysoka dostpno obejmuje rwnie wyrwnywanie obcienia (zarwno sprztowe, jak i programowe), ktrego zadaniem jest wyrwnywanie obcienia zasobw
w celu redukowania zatorw prowadzcych w kocu do awarii usugi (system
moe pracowa, cho nie bdzie odpowiada na dania). Wyrwnywanie obcienia zakada skalowalno systemu. Oczywicie, jeeli system lub oprogramowanie
nie daje si skalowa, to bardzo trudno jest zapewni wyrwnywanie obcienia

34

Cz I Wysoko wydajne przetwarzanie danych w Windows

midzy wieloma hostami. Microsoft dostarcza rozwizania do klasteryzacji z wyrwnywaniem obcienia sieci (NLB), wyrwnywaniem obcienia komponentw
(CLB) oraz klastry dziaajce pomimo awarii, jednak jeeli samo oprogramowanie dostarczajce usug nie jest skalowalne ani zalene od zastosowania klastra
NLB, to jego stosowanie wraz z pozostaymi usugami klastrowania dostpnymi
na platformie Windows Server ma niewielki sens.
Wysoka dostpno korzysta rwnie z nadmiarowoci sprztu. Nawet jeeli
system nie obsuguje pracy pomimo awarii, nadal mona osign wysok dostpno przez zastosowanie nadmiarowoci sprztowej. Najbardziej znanym
zastosowaniem nadmiarowoci jest nadmiarowo dyskw; istnieje kilka technologii zapewniajcych mirroring, striping oraz kombinacje obu tych technik,
dziki czemu mona zapobiec wyczeniom spowodowanym awari dysku lub
wyeliminowa je. Nadmiarowo sprztow omawiamy bardziej szczegowo
w rozdziale 2., Wybr sprztu o wysokiej wydajnoci, oraz 3., Pamici masowe
dla systemw wysoko dostpnych.
Jeeli jestemy przy pamiciach masowych, trzeba pamita, e nie ma nic lepszego dla systemw o wysokiej dostpnoci jak technologie konsolidacji pamici
masowych. Zarwno systemy NAS, jak i SAN graj niezwykle wan rol w wiecie
wysokiej dostpnoci. Nie jest to tylko skonsolidowana centrala danych dostpna
przy projektowaniu klastra dziaajcego pomimo awarii. Caa technologia przepustowo, atwo serwisowania, zarzdzania i tak dalej peni wan rol
w spenieniu podstawowego wymagania dostpnoci. Z tego powodu pamiciom
masowym powicilimy cay rozdzia 3., Pamici masowe dla systemw o wysokiej dostpnoci.
Pamici, procesory, wejcie-wyjcie, magistrale i tym podobne elementy rwnie
odgrywaj krytyczn rol, szczeglnie w przypadku zapewnienia skalowania,
wieloprocesowoci, wielowtkowoci i tak dalej. Komponenty te w systemach
o wysokiej dostpnoci wymagaj monitorowania dostpnoci, monitorowania
wydajnoci oraz analiz, dziki czemu mona speni wymaganie wysokiej dostpnoci. Z tego powodu w rozdziale 13. przedstawiamy narzdzia do monitorowania
dziaania, takie jak konsola Performance oraz Microsoft Operations Manager firmy
Microsoft.
Na koniec przedstawimy czynniki pozasystemowe, ktre mog wpyn na dostpno: ludzk zdolno do obsugi i utrzymania systemw, oraz ich waciwe
projektowanie i implementowanie. W rozdziaach 5. i 6. wprowadzamy temat
projektowania i implementacji. Kolejne rozdziay s ukierunkowane na projektowanie a zawarte w nich informacje s przedstawiane w postaci przykadw.
Ksika na temat wysokiej dostpnoci i wydajnoci nie byaby wyczerpujca bez
omwienia zagadnie bezpieczestwa. Aby zapewni zaoony poziom obsugi,
naley stale si upewnia, e system nie jest przedmiotem ataku. Ataki przyjmuj

Rozdzia 1. wiat przetwarzania wysoko wydajnego

35

rne formy wirusw, robakw, koni trojaskich, niskopoziomowych wama

interaktywnych i tak dalej. Cho tematem tej ksiki nie jest bezpieczestwo
komputerw, temat sam w sobie niezwykle obszerny, przedstawimy potrzeby
zarzdzania aspektami bezpieczestwa z punktu widzenia poziomu usugi, dostpnoci oraz wydajnoci i czynnika ludzkiego.

Skalowanie dostpnoci w poziomie

i Windows Server 2003
Mwic o skalowalnoci, mamy na myli sposb rozbudowy usugi lub aplikacji
w celu spenienia rosncych wymaga co do wydajnoci zapisanych w SLA. Jeeli
w tej ksice pojawia si pojcie skalowalnoci systemw komputerowych, mamy
na myli moliwo dodania komputerw do istniejcego klastra, dziki czemu
obcienie pozostaych komputerw moe by skierowane do doczonych,
a w efekcie mona speni SLA i zapewni wymagan wydajno. Przedstawimy
tu dwie opcje skalowania: skalowanie pionowe i poziome.
Platforma Windows Server 2003 korzysta ze skalowania poziomego, poniewa
systemy korzystajce z procesorw Intel najlepiej nadaj si do wykorzystania
w architekturze takiego wanie skalowania. Skalowanie w poziomie wykorzystuje
klasteryzacj, czyli konfiguracj, w ktrej systemy mog albo pracowa rwnolegle jako systemy przetwarzania rozproszonego w celu obsuenia dodatkowego
obcienia, albo jako klastry zapewniajce prac pomimo awarii oraz udostpniajce usugi nadmiarowe.
Skalowanie poziome jako forma przetwarzania rwnolegego, wyrwnywania
obcienia lub obu tych mechanizmw jednoczenie wymaga zastosowania systemw i oprogramowania, ktre pracuje zgodnie z zasad dziel i zwyciaj, gdzie
dane aplikacji i kod przetwarzajcy s rozproszone po wielu wzach. Kady wze
moe pracowa na wasnej czci caego zbioru danych lub korzysta z jednego,
wsplnego zbioru danych. W drugim przypadku gwny proces integracji danych
uruchamia system procedur transakcyjnych, przetwarzania rozproszonego i replikacji danych, dziki czemu mona zachowa spjno danych.
Typowym przykadem jest popularna witryna typu B2C. Do rozproszenia pocze
i obcienia uruchamianych jest wiele serwerw WWW. Poczenia s realizowane za porednictwem komponentw warstwy poredniej, a przy przetwarzaniu
wykorzystywane s bazy danych zainstalowane na jednym lub wikszej liczbie
serwerw SQL. W celu zachowania spjnoci danych wykorzystywane s techniki
replikacji i izolacji. Spjno danych oraz techniki takie jak replikacja i przesyanie dziennikw omwimy dokadniej w rozdziale 9., Zastosowania SQL Server
w rozwizaniach o wysokiej dostpnoci i wydajnoci.

36

Cz I Wysoko wydajne przetwarzanie danych w Windows

Jak ju wczeniej wspomnielimy, aby aplikacje mogy by skalowane, musz

by do tego przygotowane. Mona po prostu skorzysta z wyrwnywania obcienia oraz ruchu w sieci zapewnianego przez Windows Server 2003, o ile aplikacje
obsuguj NLB, albo podzieli dziaanie procesu na wiele serwerw, co jest znane
jako federacja. Mona skorzysta z wielu rozwiza a Microsoft dostarcza kilku
interfejsw programowych korzystajcych ze wsplnych bibliotek, szczeglnie
tych znajdujcych si w .NET Framework ktre obsuguj dziaanie programu
rozproszonego pomidzy kilka systemw o wysokiej wydajnoci (HPC).

Klasteryzacja
Jak si ju niebawem okae, termin klasteryzacja moe odnosi si do wicej
ni jednej techniki zapewnienia dostpnoci. Wanie omwione klastrowanie
zapewniajce skalowanie w poziomie korzysta z usug dostarczanych przez Windows Server 2003 do zapewnienia wyrwnywania obcienia i rozpraszania przetwarzania pomidzy poszczeglne wzy. Z drugiej strony klastrowanie w celu
zapewnienia pracy pomimo awarii to technika zapewniania dostpnoci. Jest to
odmiana nadmiarowoci.
Klaster aktywno-pasyny skada si z pary wzw, w ktrej wze pasywny nie
wykonuje adnej pracy, natomiast wze aktywny realizuje wszystkie zadania.
Jeeli awarii ulegnie wze podstawowy, dziaanie aplikacji jest przekazywane
do wza pasywnego, ktry jest w tym momencie aktywowany. Zauwaalna jest
niewielka przerwa w pracy usugi, jednak aplikacja jest odtwarzana z pomijaln
przerw w dziaaniu i przetwarzanie jest kontynuowane na nowym wle podstawowym. Uszkodzony wze jest nastpnie odtwarzany i albo jest doczany
jako wze pasywny, albo aplikacja jest przenoszona na poprzedni system i odtwarzany jest stan aktywno-pasywny sprzed awarii.
W Windows Server 2003 Enterprise Edition oraz Datacenter Edition mona mie
wicej ni jeden aktywny wze w klastrze. Jest rwnie moliwe uruchomienie
wicej ni dwch aktywnych wzw w klastrze i dodanie jednego pasywnego.
Konfiguracja aktywno-aktywno-pasywna (n+1) jest omwiona dokadniej w rozdziale 5., Przygotowywanie platformy dla sieci o wysokiej wydajnoci.
UWAGA: Nie mona utworzy klastra dziaajcego pomimo awarii z wykorzystaniem Windows Server 2003 Standard Edition.

Pionowe skalowanie dostpnoci

Czasami programici tworz aplikacje, ktrych nie da si atwo skalowa w poziomie, a wymagania tych aplikacji bardziej przystaj do skalowania pionowego.
Skalowanie w pionie polega na dodawaniu kolejnych komponentw sprztowych,

Rozdzia 1. wiat przetwarzania wysoko wydajnego

37

najczciej procesorw lub pamici, w celu penego wykorzystania technik przetwarzania rwnolegego i wielozadaniowego.
Skalowanie pionowe wykorzystuje moliwoci nowoczesnych procesorw, takich
jak wielowtkowo, hyperthreading, blokady, semafory i inne funkcje atomowe.
Systemy skalowane w pionie s zwykle atwiejsze do zarzdzania, poniewa zwykle
trzeba radzi sobie z jednym stanem systemu operacyjnego, jednym repozytorium danych oraz przestrzeni przetwarzania rozproszonego. Jednak niektre
aplikacje z powodzeniem korzystaj z poczenia technik skalowania poziomego
i pionowego.
Systemami tymi s wysoce dostpne systemy przetwarzania transakcji, w ktrych
zoone aplikacje wielowtkowe s skalowane poziomo na kilka klastrw obsugujcych prac pomimo awarii lub wyrwnywanie obcienia. Wicej na ten temat
napiszemy w rozdziaach 5., 9., 11. i 12.

Skalowanie pionowe czy poziome?

Skalujc system w pionie, dodajemy zasoby do istniejcego systemu komputerowego. Gdy czas odpowiedzi serwera zaczyna si powiksza z powodu zbyt
duego obcienia, wikszej iloci da do bazy danych lub przepywu poczty
elektronicznej, najczciej stosowanym sposobem natychmiastowego rozwizania
problemw z wydajnoci jest dodanie wikszego, szybszego (i droszego) sprztu.
Obecnie producenci sprztu podwajaj wydajno urzdze co 18 do 24 miesicy. Jeli mona byskawicznie i niemal w sposb nieograniczony powiksza
moc systemu, podejcie to wydaje si bardzo rozsdne, ale szybko natykamy si
na pewien problem. Ze sta aktualizacj sprztu wie si wiele problemw.
Pierwszym i najwaniejszym s ograniczenia urzdze. Zakadajc, e wydajno
sprztu podwaja si co dwa lata, i e mamy pienidze na unowoczenianie sprztu
z tak czstotliwoci, co moemy zrobi, gdy po dwunastu miesicach moc nowego systemu stanie si niewystarczajca? Czy bdziemy zmaga si z niewystarczajc wydajnoci przez nastpny rok? Nie jest to dobre rozwizanie, szczeglnie po kosztownej rozbudowie.
Nawet gdy producenci bd produkowali komputery omioprocesorowe z ukadami
pamici 16 GB i macierz SAN wykorzystujc poczenia wiatowodowe, problem skalowalnoci nadal bdzie istnia. Wczeniej czy pniej bdziemy zmuszeni
poczeka, a nasz dostawca wypuci nastpn generacj swojego supersprztu,
ktra zaspokoi nasze wymagania.
Sytuacja jednak moe si jeszcze bardziej skomplikowa. Gdy system osignie
okrelony punkt, dalsze skalowanie w pionie staje si tak kosztowne, e wydane

38

Cz I Wysoko wydajne przetwarzanie danych w Windows

pienidze nie s warte osiganych efektw. Nawet pomijajc problemy ze zgodnoci sprztu, prawdopodobnie napotkamy problemy z oprogramowaniem po
przekroczeniu pewnego punktu krytycznego.
Na przykad, zwrmy uwag na opcj /3GB /PAE z pliku boot.ini serwera Windows 2000. Mamy tu problem z prawidowym wykorzystaniem przez OS duych
iloci pamici (4GB i wicej). Niektre systemy oprogramowania, na przykad
serwery baz danych, maj wewntrzne algorytmy obsugi transakcji, blokowania,
wielodostpnoci i problemw z architektur trjwarstwow. Architektura tych
systemw ma ograniczenia efektywnoci. Ograniczenia ta mog uniemoliwi
dalsze skalowanie w pionie. Jest to podobne do krzywej dzwonowej: prdzej
czy pniej, na szczycie krzywej bdziemy potrzebowali bardzo drogich aktualizacji sprztu, aby uzyska niewielk popraw wydajnoci. Skalowanie w poziomie oznacza zastosowanie wikszej iloci sprztu.

Udostpnianie wszystkiego
a nieudostpnianie niczego
Skupmy si teraz na zastosowaniu wikszej iloci sprztu, a nie tylko sprztu wikszego lub lepszego. Skalowanie poziome moe by efektywnym rozwizaniem problemw napotykanych w scenariuszu skalowania pionowego. Projektujemy system
nie tak, aby udostpnia wszystko, ale raczej tak, by nic nie udostpnia.
W istocie, architektura wspdzielenia niczego oznacza, e kady system komputerowy w klastrze dziaa niezalenie. Kady system w klastrze posiada osobne
zasoby (CPU, pami, dyski). Aby rozwiza problemy pojemnoci przez skalowanie poziome, dodajemy wicej sprztu do puli a nie do pojedynczej jednostki.
Skalowanie poziome pozwala rozwiza problem czynnika kosztu zwizany
ze skalowaniem pionowym, poniewa dodanie kilku mniejszych systemw jest
zwykle tasze ni unowoczenianie duego systemu klasy mainframe lub koszt
oraz problemy zwizane z cakowitym przeniesieniem na now platform. W przypadku skalowania poziomego wielko i szybko dziaania pojedynczego systemu nie ogranicza cakowitej wydajnoci. Architektura wspdzielenia niczego
pozwala zlikwidowa problem wskich garde programowych przez dostarczenie
architektury obsugujcej wiele mechanizmw wspbienoci. Poniewa obcienie jest dzielone na wiele serwerw, cakowita pojemno programowa i przepustowo zwiksza si.
Pomimo tego, e skalowanie poziome zapewnia rozwizanie integralnych ogranicze architektury skalowania pionowego, metoda jest zwizana z innymi problemami. Skalowanie poziome wymaga dodatkowych czynnoci administracyjnych, dogbnej wiedzy i oczywicie pienidzy. Puapki mog by potencjalnie

Rozdzia 1. wiat przetwarzania wysoko wydajnego

39

tak due, jak uzyskiwany przyrost wydajnoci. Nawet pomimo tego skalowanie
w poziomie moe by doskonaym rozwizaniem dla serwerw baz danych, ktre
osigny granice skalowalnoci sprztu.
Mamy wiele do przemylenia, szczeglnie gdy klient ma tylko jedno wymaganie:
zapewni, aby system by zawsze wczony.

Wysoko wydajne przetwarzanie danych

Wysoko wydajne przetwarzanie danych (HPC) nie moe by mylone z wysok
dostpnoci, ale jest to integralne pojcie, bez ktrego nie bdziemy w stanie
osign odpowiedniego poziomu obsugi.
Mona budowa autonomiczne komputery o wysokiej wydajnoci albo komputery
bdce czci farm serwerw czy federacji komputerw. Jeeli jednak projekt
nie bdzie zapewnia wysokiej dostpnoci, moemy nie by w stanie zapewni
poziomu usugi wymaganego przez firm lub waciciela procesu. I odwrotnie,
projekt o wysokiej dostpnoci lub jego implementacja nie powiedzie si, jeeli
zastosowane komponenty nie bd pozwalay na osignicie wysokiej wydajnoci
rodowiska komputerowego.
Majc na celu wysok dostpno, mona zbudowa system komputerowy zapewniajcy poziom usugi przy wysokiej wydajnoci. Nie zawsze jednak zachodzi
taki przypadek i nie zawsze jest on moliwy do zrealizowania.
Na przykad, sterta tanich dyskw SCCI obracajcych si z prdkoci najwyej
7200 obrotw na minut w konfiguracji RAID 1 lub RAID 5 oczywicie zapewni
wysoki poziom dostpnoci, w przeciwiestwie do jednego dysku, ktrego awaria
spowoduje niedotrzymanie warunkw umowy. Czy mona stwierdzi, e s to
komponenty HPC? Na pewno nie. Implementacja SAN skadajca si z kosza
dyskw o prdkoci obrotowej 15 000 obrotw na minut w konfiguracji RAID-5,
przesyajcych dane za pomoc wkna szklanego zamiast SCSI, zapewnia zarwno wysok dostpno, jak i wysok wydajno. Oczywicie to, co dla jednej
firmy jest HPC, dla innej moe by superkomputerem. Macierze SAN, podobnie jak inne technologie, maj rwnie malejce punkty powrotu, ktre przedstawimy w rozdziale 3.

Potrzeba przetwarzania wysoko wydajnego

Skupmy si jeszcze chwil na temacie HPC. Technologia napdza dzisiejsze firmy,
a w wikszoci napdza te spoeczestwo. Wikszo firm po prostu zawiesiaby
dziaanie, jeeli na kilka dni odcito by im dostp do ich technologii. Aby pozosta

40

Cz I Wysoko wydajne przetwarzanie danych w Windows

konkurencyjnym, nie tylko trzeba by dostpnym przez cay czas, ale przepustowo systemw musi by moliwie dua.
HPC jest krytyczne dla wszystkich firm. Jeeli usuga dziaa powoli i maa grupa
ludzi o minut duej bdzie wysya dane, to po podsumowaniu roku okae si,
e stracilimy tydzie pracy. Ta strata na pewno wpynie na wyniki finansowe firmy.
Serwery baz danych udostpniajce witryny WWW lub wprowadzanie danych
i obliczenia musz dziaa z najwiksz moliw szybkoci. Serwery WWW
musz by w stanie obsuy tysice pocze, a nie tylko kilka. Serwery plikw
i drukarek nie mog zatrzymywa si na przecieniu procesora lub pamici
w przypadku drukowania wanej notatki dla wszystkich pracownikw.

Przetwarzanie wysoko wydajne dla kadego

Informatyka jest jedn z dziedzin nauki. Tak jak w kadej dziedzinie nauki, mamy
tu prawa i wzory opisujce poszczeglne hipotezy. W przetwarzaniu HPC moemy
znale twierdzenie, na ktrym mog opiera si wszystkie firmy: koszt nowej
technologii pozostaje znacznie wyszy, dopki technologia ta jest postrzegana
jako nowa. W momencie, gdy zostanie wymylone co lepszego, koszt starej ju
technologii znacznie spada. Bez wchodzenia w szczegy wskanika zwrotu z inwestycji (ROI) i innych czynnikw, ktre usprawiedliwiaj korzystanie z najnowszych
technologii, dla wikszoci potrzeb przedsibiorstwa lepiej i taniej jest korzysta
z technologii, gdy przestanie by traktowana jako nowo.
Przecie to, e rano co lepszego pojawio si w wiadomociach, nie oznacza, e
stara technologia przestaa by uyteczna dla firmy. Z drugiej strony, biorc pod
uwag obecn szybko rozwoju technicznego, urzdzenia, ktre wyszy z mody,
bd nadal uyteczne co najmniej przez kolejny rok. Wikszo firm moe skorzysta z nowych technologii ze znacznym opnieniem.
Powodem tego s kopoty ze zdobywaniem wiedzy. Ludzie, ktrzy najprawdopodobniej mogliby skorzysta z nowych technologii, nie zdobd odpowiedniej
wiedzy do momentu wykonania tzw. transferu wiedzy. Dla wielu technologii
proces ten moe trwa kilka lat.
W jednym z ostatnich szokujcych raportw firma Gartner poinformowaa, e
ponad poowa amerykaskich korporacji nadal korzysta z Windows 98. Firmy te
maj takie opnienie w przyjciu nowszych i bardziej skomplikowanych systemw
operacyjnych, takich jak Windows XP i Windows Server 2003, e Microsoft musia
przeduy wsparcie dla swoich przestarzaych systemw o kolejne siedem lat.
Podobne statystyki mona znale dla innych systemw operacyjnych dla serwerw. Tysice firm korzystaj nadal z Windows NT i pomimo tego, e Windows
Server 2003 jest dostpny od pocztku roku 2003, wikszo z nich nie zmieni
platformy co najmniej do roku 2005.

Rozdzia 1. wiat przetwarzania wysoko wydajnego

41

Przeanalizujmy wic nastpujce twierdzenie: nowy system lub technologia staje

si dostpna dla firm w momencie, gdy dostpna jest wystarczajca ilo wiedzy
i informacji, aby mona byo przeszkoli architektw, projektantw i operatorw.
W momencie, gdy zostanie osignita odpowiednia penetracja rynku, najprawdopodobniej powstanie nowa generacja tej technologii i w tym momencie cena
tak zwanej przestarzaej technologii znacznie spadnie.
Na przykad, kilka lat temu cena wkna SCSI SAN bya poza zasigiem wikszoci maych firm, ktre mogy sobie pozwoli tylko na pamici masowe doczane do sieci (NAS). Obecnie, przy zastosowaniu dyskw SAN z wknami
wiatowodowymi, stare miedziane wkna SCSI dla SAN znacznie potaniay.
Jak si okae w rozdziale 3., mona zbudowa podstawowy SAN dla maej firmy
za mniej ni poow kwoty, ktr Twj zesp techniczny wydaje na obiad.
Komponenty HPC stay si dostpne cenowo w czasie potrzebnym architektowi do
zaprojektowania systemu. Serwery stale taniej, poniewa coraz nowsze modele
pojawiaj si na witrynach producentw. Najtasza linia serwerw bya cakowit
nowoci jeszcze sze miesicy temu i najprawdopodobniej nadaje si doskonale
dla naszych celw, przy cenie rwnej jednej pitej kosztu najnowszego serwera.
Dziki temu przetwarzanie HPC jest dostpne dla wszystkich. Po zaprojektowaniu systemu i okreleniu potrzeb mona atwo zmieci si w budecie i kupi
komponenty speniajce nasze wymagania.

Superkomputer w kadej szafie

Dzisiejsze systemy operacyjne nadal rozwijaj zdolnoci jak najlepszego wykorzystania moliwoci sprztu, na ktrym zostay zainstalowane. W ksice tej
przedstawiamy jeden z tych systemw operacyjnych, ktry praktycznie kadej
firmie daje moliwoci obliczeniowe superkomputerw, przy zachowaniu uamka
wydatkw, jakie byyby przewidziane do tych celw jeszcze kilka lat temu.
Za nie wicej ni kilka milionw zotych moliwe jest zastpienie antycznych
systemw Novell NetWare, GroupWise nastpujc konfiguracj: kilkaset serwerw zainstalowanych w ponad 100 oddziaach z wysoko wydajn i wysoko dostpn
implementacj Active Directory, ktra pozwala udostpnia pliki i drukarki przy
wykorzystaniu kilku macierzy SAN, obsugujcych 5 000 uytkownikw Exchange
i Outlook.
Przed rokiem 2000 taka wymiana systemu sieciowego byaby uznana za zbyt
drog i kopotliw do przeprowadzenia. Tym, co spowodowao, e operacja jest
obecnie atwiejsza i tasza, stao si uycie systemu operacyjnego Windows Server
2003 oraz Active Directory, omwionych w kolejnych rozdziaach.

42

Cz I Wysoko wydajne przetwarzanie danych w Windows

Ten system operacyjny jest nie tylko taszy, ale rwnie dziaa taki sposb, e
systemy z niego korzystajce wedug wikszoci naukowych definicji mona
traktowa jak superkomputery.

Przetwarzanie i pami
Przetwarzanie wysoko wydajne zaley od kilku komponentw, ale zazwyczaj
na pocztku zwraca si uwag na procesor i pami. Procesory staj si tasze,
bardziej dostpne i wydajniejsze. Jednym z czynnikw, ktry przesta by problemem dla wikszoci budetw, jest rozmiar i ilo procesorw zamontowanych
w serwerze. Wikszo firm obecnie kupuje serwery z obsadzonymi wszystkimi
gniazdami serwerw dostpnymi na pycie gwnej.
Prawo Moorea zakada, e ilo tranzystorw w pojedynczym ukadzie podwaja
si co 18 miesicy. Do niedawna formua ta sprawdzaa si z niezwyk dokadnoci. Obecnie ilo tranzystorw podwaja si szybciej ni przewidzia to Gordon Moore, byy czonek zarzdu firmy Intel (najwikszy producent mikroprocesorw i dugoterminowy partner firmy Microsoft). Jak opiszemy w rozdziale
2., w przyszoci procesory stan si mniej zalene od tradycyjnych ogranicze
metalu nadprzewodzcego.
W roku 1998 komputer z procesorem 386 16 MHz z 1 MB pamici RAM i 40 MB
dyskiem twardym, kosztujcy ponad 20 000 z, by poza zasigiem wikszoci
firm. Obecnie komputer z procesorem 1,5 GHz z ponad 256 MB pamici RAM
i dyskiem twardym 40 GB mona bez problemu kupi za mniej ni 2 000 z.
Rozwj pamici rwnie przebiega w niezwykym tempie, dziki czemu ilo
pamici zamontowanej w systemie przestaje by problemem. Jeeli mamy potrzeby klasy HPC i SLA do spenienia, zamawiajc sprzt dla nowego klastra
SQL Server lub Exchange, najczciej polecamy sprzedawcy, aby doda pamici
do pena.
System operacyjny Windows Server 2003 zapowiada rwnie er systemw
64 bitowych, ktra spowoduje powstanie wielu firm, wielkich i maych, tworzcych nowe aplikacje dla superkomputerw. Autostrada przetwarzania 64-bitowego
jest niezwykle obiecujca. W rozdziale 2. przyjrzymy si, jak pojemno pamici
masowych wpywa na nasze potrzeby programowe.

Komponenty wysoko wydajne

Oprcz pamici i procesorw, rwnie wiele innych komponentw jest wanych
dla przetwarzania wysoko wydajnego. aden system nie obejdzie si bez pamici
masowej. aden system o wysokiej wydajnoci lub wysokiej dostpnoci nie

Rozdzia 1. wiat przetwarzania wysoko wydajnego

43

moe te dziaa bez wspdzielonego i nadmiarowego systemu pamici masowej (RAID 1, 5, 10 i tak dalej). Pami masowa i kilka innych krytycznych komponentw jest opisanych w kilku kolejnych rozdziaach.
Pozostae komponenty skadajce si na systemy HPC-HA to zasilacze (PSU),
dyski i kontrolery, przeczniki i poczenia przecznikw, okablowanie sieciowe
(szczeglnie wkna wiatowodowe), karty sieciowe, adaptery magistrali i tak dalej.

Microsoft i Cornell Theory Center

Wzrost zainteresowania i potrzeby przetwarzania o wysokiej wydajnoci i wysokiej
dostpnoci doprowadziy do powstania kilku standardw i organizacji zainteresowanych budow systemw o duej wydajnoci. Jedn z takich instytucji promujcych HPC na platformie Windows Server jest Cornell Theory Center (CTC).
Cornell Theory Center jest centrum badawczym zlokalizowanym w kampusie
Cornell University w Ithaca. CTC posiada powizania z ponad 500 badaczami
w Cornell, zajmujcych si rnymi dyscyplinami naukowymi i matematycznymi.
Sie ta rozciga si na cay wiat, poprzez badaczy, partnerw i zewntrzne powizania. W CTC opracowano doskonae rozwizania z zakresu przetwarzania
wysoko wydajnego oraz informatyki z nastpujcych dziedzin:
finanse komputerowe,
biologia i genomika komputerowa,
komputerowa teoria materiaowa.

Wedug CTC, s oni w pierwszym szeregu bada nad obliczeniami wysoko wydajnymi od wielu lat. Podobnie jak wiele innych tego typu organizacji, CTC
we wikszoci swoich prac wykorzystuje drogie, specjalizowane implementacje
systemu UNIX. W zwizku z ograniczeniami budetowymi, zwikszon zalenoci naukowcw od infrastruktury wysoko wydajnej oraz zwikszajc si dostpnoci komputerw i komponentw sieciowych, w roku 1999 w CTC opracowano unikatow strategi wykorzystania do oblicze wysoko wydajnych
systemw Microsoft Windows.
Od tego momentu CTC z sukcesem tworzy wiatowej klasy centrum superkomputerowe korzystajce z Windows. Najwikszym systemem CTC jest 256-procesorowy klaster Velocity II, ktry jest jednym z 10 najszybszych superkomputerw
na wiecie.
Cho w kolejnych rozdziaach skupiamy si w wikszoci na dostpnoci, element HPC jest zawsze zwizany z kad klas sprztu i oprogramowania, ktra
spenia nasze wymagania poziomu usugi.

44

Cz I Wysoko wydajne przetwarzanie danych w Windows

Podsumowanie
W tym rozdziale przedstawilimy niektre wane pojcia, przygotowujc w ten
sposb grunt pod kolejne rozdziay. Zdefiniowalimy kilka terminw: dostpno, wydajno, niezawodno, nadmiarowo, awaria, naprawa, czas dziaania
i czas wyczenia. Omwilimy rwnie poziom obsugi oraz umowy SLA. Na
koniec rzucilimy nieco wiata na zagadnienia przetwarzania wysoko wydajnego
i superkomputerw.
Oprcz przygotowania gruntu dla kolejnych rozdziaw, rozdzia ten przedstawia
kilka idei. Obecnie Windows Server 2003 nie jest zbyt trudny ani drogi, wic
mona go stosowa przy budowaniu wysoko dostpnych lub wysoko wydajnych
systemw komputerowych. Po umieszczeniu takiego systemu superkomputerowego w lokalizacji zabezpieczonej przed klskami ywioowymi, bdziemy
w stanie sprosta najbardziej wymagajcym umowom SLA. Jeeli w SLA prawidowo zdefiniujemy czas wyczenia i bdziemy pilnowa, aby wyczenia nie
zdarzay si w oknie dziaania, dla ktrego jest podpisana umowa, najprawdopodobniej bdziemy w stanie osign cztery dziewitki bez potrzeby obrabowania banku.