Professional Documents
Culture Documents
Green It - Data Center Projects
Green It - Data Center Projects
972-97442444
תוכן
תקציר מנהלים3 .....................................................................................
חלק ראשון -מגמות בתחום חדרי המחשב בישראל ובעולם 4 .................................
חלק שני –סיפורי לקוחות 5 ........................................................................
סיפור לקוח :1סיסקו 5 ..................................................................................
סיפור לקוח :2פרוייקט תהיל"ה 6 ....................................................................
סיפור לקוח :3בנק לאומי 7 ............................................................................
Moshav Bnei Zion P.O.Box 151, 60910 Israel Tel. 972-9-7907000 Fax. 972-97442444
תקציר מנהלים
המפגש הפעם התנהל בצורה שונה ממפגשים דומים בעבר בכך שהוא חולק לשלושה חלקים עיקריים:
בחלק הראשון הוצגו מגמות בסביבת חדרי המחשב ויוזמות חדשות בתחום חדר המחשב הירוק ע"י
שחר מ .STKIבין השאר הוזכר בהרחבה פרוייקט שנעשה ע"י ה Silicon Valley Leadership Group
ובו נעשה ניסיון להדגים האם ארגון "מן השורה" יכול ליישם טכנולוגיות best practiceכפי שאלה
הוגדרו ע"י הסוכנות האמריקאית להגנת הסביבה ( )EPAבנייר רשמי שהוגש לקונגרס באוגוסט .7002
בחלק השני הוצגו שלושה סיפורי לקוח :מר שוקי לוי ,מנהל התשתיות הפיזיות במעבדות סיסקו ,הציג
שינויים שנערכו בחברה בסביבת חדרי המחשב במעבדות כדי לעמוד בדרישות המיחשוב בארגון בשנים
הקרובות; סיפור לקוח נוסף היה תיאור פרוייקט חדר המחשב מקורר המים של תהיל"ה מממשל זמין,
אותו הציג מר חיים אפריים ,מנהל חדר המחשב ובו סופר על השיקולים שהובילו את אנשי תהיל"ה
לטכנולוגיית קירור מבוססת מים שאינה שכיחה בישראל ועל בעיות או אתגרים בתפעול המתקן .סיפור
לקוח שלישי ,אותו הציג מר איתן דן ,ראש ענף מערכות תפעול בבנק לאומי הציג את השיקולים שהובילו
את הבנק להתחיל פרוייקט בינוי גדול לחדר מחשב ממוגן ותת קרקעי אשר נבנה בימים אלה.
בחלק השלישי של המפגש התנהל דיון קצר בין הארגונים סביב השולחן על סוגיות שונות בתכנון חדרי
מחשב ובעיות קיימות בתחום.
Moshav Bnei Zion P.O.Box 151, 60910 Israel Tel. 972-9-7907000 Fax. 972-97442444
חדרי מחשב הם צרכן החשמל מספר אחד ברובם המוחלט של הארגונים בעולם .חדר מחשב יכול לצרוך
חשמל אפילו עד פי 00על כל מ"ר יחסית לשטח משרד רגיל אחר.
סקר שנעשה ע"י STKIמראה כי ברוב הארגונים בישראל יערך שינוי משמעותי או בנייה של חדר מחשב
בשנתיים הקרובות ,מה שמדגים בצורה טובה את הדינמיות הגדולה שבה מנהלי מערכות המידע
עובדים .ה שינויים בשרתים ובחדר עצמו נעשים תכופים יותר ויותר עקב עליה דרמטית בדרישות
המיחשוב של העסק.
מחקרים שונים בתחום מראים כי בהצגת הקצאת צריכת החשמל בחדר המחשב לצרכנים מגלים כי כ
00%מכלל החשמל מיועד למערכות המיזוג והקירור ,כ 70%מיועד למערכות ה UPSוהתאורה ורק כ
00%מכלל החשמל מגיע לציוד ה ( ITשרתים ,אחסון ותקשורת) .מספרים אלה מצביעים על חוסר
יעילות משווע בהפעלת חדר המחשב במונחי צריכת חשמל .ממצא זה מסביר גם את העניין הגדול שיש
בשיפור מערך קירור החדר כחלק מהתייעלות הפעלת חדר המחשב.
אחד הנתונים שעוררו הכי הרבה ויכוחים היה טבלה שהוציא ארגון ASHRAEהאמריקאי ובה הוצגה
תחזית צריכת החשמל לארון של ציוד ITבשנים הקרובות .בין השאר נטען ע"י הארגון כי ארון שרתים
בקונפיגורציה מלאה עלול להגיע לצריכת חשמל של כ KVA03בשנת .7000חלק מהנוכחים טענו כי
מדובר בנתונים שאינם נכונים ,לדעתם וחלק אחר הסכימו שבחלק מהמקרים המספרים יכולים להיות
קרובים לכתוב .בכל מקרה מדובר בנקודה שמעסיקה לא מעט ארגונים שעומדים בפני תכנון חדר מחשב
בשנים הקרובות.
תחזית מעניינת נוספת נערכה ע"י ארגון AFCOMולפיה עד 7000יאלצו יותר מחצי מחדרי המחשב
לעבור מקום או להוציא חלק מהפעילות שלהם למיקור חוץ עקב מחסור במקום .ממצא זה דומים
למחקרים דומים בארץ ובעולם .ממצאים אחרים מצביעים על מצוקה באספקת חשמל למתקנים והפרעות
ממשיות לפעילות העסק כתוצאה מכך.
אחד המדדים המובילים בתחום לבדיקת פעילות חדרי המחשב הוא מדד בשם Power Usage ( PUE
.)Effectivenessמדד זה מתאר את יעילות הקצאת החשמל בחדר המחשב ע"י כך שהוא מחלק את סך
כל החשמל שנמדד בנקודת הכניסה לארונות חדר המחשב בסך החשמל שמועבר נטו לשרתים ,למכונות
האחסון וציוד התקשורת .ע"פ ממוצעים שנמדדו בארגונים שונים ברחבי העולם ,יחס ממוצע עומד על
ערך של ,7-0כלומר על כל קילוואט חשמל שזורם לציוד ה ,ITמוזרם עוד קילוואט אחד עד שניים
למערכות תומכות מסביב (מיזוג אויר ,UPS ,תאורה וכו') .על פי נתוני ה ,EPAמצב של best practice
בתחום מדבר על PUEשל 0.0-0.3ואילו state of artעומד על רמה של .0.7לא הרבה ארגונים בארץ
מודעים בכלל למדד הזה ואחוז נמוך יותר ביצעו מדידה בשטח .מבין הארגונים שכן מדדו ,באחד
הארגונים נמצאה שונות גדולה יחסית בתוצאות של מדידה בימים חמים וקרים בשל ההבדל בהיקף
Moshav Bnei Zion P.O.Box 151, 60910 Israel Tel. 972-9-7907000 Fax. 972-97442444
השימוש במערכות מיזוג אוויר בימים חמים יותר ,אולם החשיבות הגדולה של מדידה כזו אינה בתוצאה
המספרית הראשונית אלא בהצגת שיפור על פני זמן.
אחד הגורמים הדומיננטיים בתחום ייעול עבודת חדרי המחשב הוא ה EPAהאמריקאי .בעקבות דו"ח
מקיף שהגיש גוף זה לקונגרס ובו תיאור תמונת המצב בחדרי המחשב בארה"ב והמלצות לפעולה כדי
להוריד את צריכת החשמל בחדרים אלה בשנים הקרובות ,לקח על עצמו גוף בשם The ( SVLG
)Silicon Valley Leadership Groupבשיתוף גופים נוספים לבדוק האם ההמלצות של ה EPA
יישימות "בשטח" ,כלומר בחדרי מחשב פעילים של חברות פעילות במקום במעבדות או במכוני מחקר.
עוד על הפרוייקט הזה ,ניתן למצוא בקישור הזה.
בסקירה מובאות הפעולות השונות שנעשות בישראל בחדרי מחשב כחלק מהתמודדות עם הבעיות
הקיימות .בין השאר דובר על ביצוע סקירות תרמיות של חדר המחשב כדי לגלות נקודות חמות ,כשלים
בפיזור האוויר החם או הקר ,על שיטות שונות למיזוג אוויר ומים ,על טיפול בשרתים עצמם ובאחסון כדי
לעשות אופטימיזציה של פעילות חדר המחשב ועוד .כמו כן ניתנה התייחסות לשימוש באנרגיה חליפית
לתפעול חדר המחשב ועל יישימותה ,אם בכלל ,בישראל.
לאחרונה נבנתה מעבדה חדשה ובה 070ארונות שרתים .יש להם בסה"כ 3מעבדות .מהניסיון הקודם
שיש להם עם תשתית "מסורתית" של חדר מחשב (ריצפה צפה ומחוררת עם תשתית חשמל בפנים וכו')
הם הבינו שלא יוכלו לספק את דרישות המיחשוב של העסק ולכן חיפשו פתרונות אחרים .המעבדות
הקיימות תוכננו לספק צריכת חשמל של כ KW 0לארון .בשנים האחרונות עקב העלייה בצריכת החשמל
בארונות נוצר מצב שהשליש העליון של הארונות לא מקורר כראוי .הם גילו שאין להם מחסור באמצעי
מיזוג אלא בעייה בהפניית האוויר הקר למקומות שצריך לקרר .בהמשך למה שדובר עליו בתחילת הדיון
על בדיקות תרמיות לחדר המחשב –בסיסקו לא ערכו ניתוח תרמי תקופתי אלא צילום תרמי חד פעמי
של החדר .הצילום הזה הוצג בפני מנהלי המעבדות ומקבלי ההחלטות וזה הספיק להם כדי להבין שאי
אפשר להמשיך עם המצב הקיים וצריך לעשות שינוי מהותי .מובילי המהלך עטפו את הנתונים שהוצגו
להנהלה בסיסמא שתפסה תשומת לב בארגון" :בשביל לקרר כוס חלב לא צריך לקרר את המטבח,
מספיק להכניס אותה למקרר".
הצוות של שוקי עובד בצמוד לצוותי המעבדות ושיתוף הפעולה הזה מייעל מאוד את התכנון לטווח ארוך
בחדרי המחשב .אין מהלך במעבדות ,אשר יש לו משמעות תשתיתית ,שמאושר לפני ששני הצדדים
יושבים ביחד ומבינים את המשמעויות הנגזרות מהמהלך .כחלק משיתוף הפעולה נערך מעקב סטטיסטי
על צריכת החשמל בחדרי המחשב לאורך השנים .הסטטיסטיקות מצביעות על עלייה של KW 0בין
השנים .7007-7000בשנת 7002ממוצע הצריכה לארון עמד על KV 0.0והצפי ל 7000הוא KW 07
לארון בממוצע .הם החליטו להכשיר מספר ארונות מקוררים לעומס של 00-70 KWואת השאר לצריכה
נמוכה מזה מתוך הבנה שרק בחלק מהמקרים הדרישה תגיע לרמות הגבוהות ביותר וגם מתוך הבנה
Moshav Bnei Zion P.O.Box 151, 60910 Israel Tel. 972-9-7907000 Fax. 972-97442444
שהם יצטרכו עוד הרבה שטח פיזי (שאין להם) כדי להציב את המערכות שנלוות לארונות צפופים
במיוחד .בפועל המערכת במעבדה החדשה מתמודדת בהצלחה עם ארונות בעומס של .KW 2
בעייה ייחודית לעבודת מעבדה היא בעיית הרעש .בחלק מהמדידות הגיעו לעוצמת רעש של 20דציבלים
(ע"פ החוק 20 ,דציבלים הם בדיוק על גבול הרעש המזיק והם שקולים לעוצמת הרעש ממסור יד או
כמעט מנוע של טרקטור ,ש.מ).
הפתרון שעשו בו שימוש הוא ארונות סגורים מיוחדים עם מאוורר למעלה ובקר טמפרטורה שמפעיל את
המאוורר לפי הצורך .ארונות אלה מייתרים את הצורך במיקום הכבילה מתחת לרצפה ומאפשרים הוצאת
הכבילה לתוך הארון ולתקרה .הם עובדים עם פסי צבירה בתקרה כדי לצמצם את הכבילה למינימום
והאוויר החם נפלט למעשה לחלל החדר מהחלק העליון של הארון .כמה חודשים לפני סיום בניית
המעבדה נוצר צורך להוסיף עוד שני ארונות של KW 70ולכן הוחלט תוך כדי תנועה להוסיף שני ארונות
מקוררי מים .שיטת קירור זו (ע"י מאוררים,וארונות מקוררי מים) חוסכת את ההתלבטות האם לסדר את
החדר למסדרונות קרים וחמים.
בכל ארון הותקנו שני חיישני טמפרטורה :אחד בחלק העליון והשני –בתחתון .שוקי מקבל התראות ו
SMSעל כל שינוי מהותי בטמפרטורה בארונות .יתרון נוסף בהצבת חיישנים הוא היכולת לבצע שינויים
בשרתים ובמערכת המיזוג מבלי לחשוש לפגיעה בציוד עקב עליית הטמפרטורה .הם כיילו את המערכות
כך שטמפרטורת הכניסה ברצפה הצפה לשרתים תעמוד על כ 02מעלות .בפועל אוויר נכנס לשרתים ב
77מעלות.
לפני בחירת הפיתרון לעיל הם בחנו מספר יצרנים ומספרים סוגי פתרונות שעבדו אצלם בתנאי שטח
אמיתיים .הוא התעקש על הדמייה קרובה למציאות בכל פיתרון שבחן כדי לראות שהפיתרון באמת עומד
בדרישות של הארגון .הפיתרון שבחרו הוריד את עוצמת הרעש ב 70דציבלים בערך.
היעילות שלו נמדדת יחסית למעבדות אחרות בחברה .כתוצאה מפריסת הפיתרון הזה הוא הצליח
לכבות הרבה מזגנים ולמרות זאת לקרר את החדר לטמפרטורה יותר גבוהה מהמצב במעבדות אחרות.
במעבדה רגילה הטמפרטורה ברצפה היא כ 00-03מעלות ואילו במעבדה החדשה הטמפרטורה גבוהה
יותר (03-01מעלות) .על פי הנוסחאות המקובלות כל מעלה שווה כ 0%בעלויות האנרגיה" .המחיר"
שצריך לשלם הוא שימוש בכשישה Uגובה כדי לא לפגוע ביעילות הקירור בארון ,כלומר בארון של U 07
ניתן לעשות שימוש ב .U 03
נקודה אחרונה ומעניינת היא שימוש בשקעים מנוהלים לחיסכון בחשמל באמצעות תוכנה שנכתבה אצלם
בבית .כל שקע מנוטר ונשלט מרחוק ,כך שניתן להוריד את החשמל לשרת בכל נקודת זמן .השליטה
ניתנה לעובדי המעבדה שמתפעלים את הציוד והם אחראים לכבות את השרתים בזמני העדרות
מהעבודה בין אם מדובר בסוף יום עבודה ,מילואים או כל היעדרות דומה .מהלך זה מביא לשיתוף
העובדים באחריות לצמצום העלויות.
מר חיים אפריים ,מנהל חדר המחשב בפרוייקט ממשל זמין ,תהיל"ה.
Moshav Bnei Zion P.O.Box 151, 60910 Israel Tel. 972-9-7907000 Fax. 972-97442444
פרוייקט תהיל"ה מארח את אתרי האינטרנט של כל משרדי הממשלה .הם כבר שנתיים באוויר עם
פרוייקט קירור המים ועד היום לא נתקלו בבעיות .לפני המעבר לחדר החדש חדר המחשב מוקם בחדר
בגודל של 00מ"ר בתוך בניין משרד האוצר .במרכז המיחשוב היו להם שני טורים של 77ארונות
בסה"כ .לאחר השינוי הם עברו לחדר של 10מ"ר .בהתחלה עבדו עם מערכת מיזוג עילית שגרמה להם
להמון בעיות .החדר ממוקם בבניין האנרגיה שבעתיד אמור לספק חשמל לכל קריית הממשלה העתידית.
כיום המרכז מספק חשמל ומים לבניין "ג'נרי" ( 7000עובדים) וכן למשרד החוץ .הבניין מקבל שתי הזנות
מתח גבוה משתי תחנות שונות .במקרה הצורך קיימים גנרטורים של קריית הממשלה שמסוגלים לספק
עד .MV 0כלומר תשתית חשמל ומים לא היוותה בעיה עבורם .הבעייה שלהם הייתה מגבלת מקום
חמורה ולכן החליטו ללכת לכיווןן של קירור מים.
הארונות מכילים שני צינורות מים :מים קרים ומים חוזרים שיוצאים מהמערכת .הקירור בתוך הארון
אחיד לכל אורכו ואין בעייה עם אזורים שאינם מקבלים תשומות קירור .כיול המערכת נעשה ל 00מעלות
בנקודת הכניסה לשרתים וניתן ,כמובן ,לשנות זאת לפי הצורך .תשתית החשמל מגיעה מהצד לארונות
ויורדת מהתקרה ,כך שאין למעשה ריצפה צפה .השטח הפנוי לשרתים בכל ארון הוא כ .U 00באתר
הוכנו 70ארונות ותשתית ל 00ארונות נוספים .כיום כל ה 00מאוכלסים עם כ 0000שרתי פיצה בסה"כ
וכבר יש תכנון להוסיף חווה חדשה בקומה מעל .יש להם בחדר שני UPSשל KVA 030עם שני פסי
צבירה ושתי הזנות לשרתים .גם מערכת קירור המים מגובה עם צ'ילר נוסף.
נציג בנק לאומי סיפר במפגש על מיזם מקיף של תכנון ובניית אולם מחשוב גדול בחצרות קמפוס הבנק
בלוד (קש"ב).
לבנק שני מרכזי מיחשוב מרכזיים :באתר קש"ב בלוד האתר משמש כמרכז מחשוב ייצור ובת"א האתר
משמש כמרכז מיחשוב ,גיבוי ,פתוח ומעט ייצור .מרכזי המיחשוב של בנק לאומי הוקמו לפני שנים רבות
ומילאו את יעודם בהצלחה רבה וממשיכים לעשות זאת עד עצם היום הזה .לאור הדרישה ההולכת
וגוברת לרציפות עסקית ולזמינות המידע ושרידות המערכות ,יחד עם הסביבה הטכנולוגית הדינאמית ,
מחייבת המציאות שדרוג של התשתיות .השינויים נובעים מהרחבת הפעילות העסקית הנסמכת על
תשתיות מיחשוב מתקדמות ,אשר מחייבות צריכת אנרגיה מוגברת ,כמו גם מענה לקירור בשל צפיפות
יחידות המיחשוב ,גידול בעוצמות המיחשוב ולעתים התמודדות עם משקל הציוד הרב ולזה יש להיערך
במבנה מתאים.
המגמה העולמית באירגונים גדולים ובינוניים מלמדת שרוב מרכזי המיחשוב הקיימים לא יעמדו
בדרישות הקיבולת ללא שידרוגים ,הרחבות או העברה למתקן אחר .לכך יש להוסיף את התגברות
הסיכונים והאיומים על מרכזי המיחשוב .אירועי ה 00 -בספטמבר ,7000היוו נקודת מפנה בעולם וגרמו
להדגשת החשיבות של מתקני גיבוי ולהקשחת הדרישות הרגולטוריות .בישראל -מלחמת לבנון השניה
חידדה את הצורך במיגון תשתיות המיחשוב ,האנרגיה והעובדים מפני טילים ולכן נדרש למגן את אתר
הייצור ולהקים מתקן גיבוי שיאפשר המשכיות עסקית והתאוששות מהירה מאסון.
Moshav Bnei Zion P.O.Box 151, 60910 Israel Tel. 972-9-7907000 Fax. 972-97442444
כדי לתת מענה לנושאים שצויונו ,הוחלט לפעול במספר מישורים :לשפר ולהתאים את התשתיות
להתפתחויות הטכנולגיות באתרים הקיימים ,כדי להבטיח פעילות תקינה של המערכות ולאפשר
יישום וקליטה של מערכות
מיחשוב מתקדמות .כמו כן הותנע מהלך של הקמת מרכז מיחשוב חדש ,מאובטח ומוגן (תת קרקעי)
אשר תואם לאפיונים וסיקרי סיכונים ,כפי שמוגדרים למתקנים מסוג זה .בין השאר כולל מתקן זה מרכז
אנרגיה חדיש ותת קרקעי התואם את הדרישות והצרכים בראיה של 70שנים קדימה .במרכז המיחשוב
החדש ייושמו כל העקרונות והתפיסות של הקמת מרכז מיחשוב חדש כמו מבנה ומיגון ,תשתיות
תקשורת ,כבילה ,מיחשוב ,אנרגיה ,קירור,מסלולי תשתית נפרדים לשני מקורות הזנה ,מערכת לניהול
האנרגיה ,בטחון וכמובן ראיה של אתר מיחשוב "ירוק".