Professional Documents
Culture Documents
סיכום ממג למתקדמים 2006
סיכום ממג למתקדמים 2006
שיעור 1
יתרונות בסיס נתונים גיאוגרפי
.1מניעת הכפלת נתונים ויצירת מידע עודף
.2יישומים שאינם תלויי נתונים -אין צורך בפיתוח קסטומיזציה לכל צורך
.3ייעול -שיתוף נתונים כתוצאה מהאחדה בהגדרות
.4הגנה טובה יותר על הנתונים -הגנת מערכת ובמובן של פיזורם בתיקיות
– )Object DBMS( ODBMSאגירת אובייקטים כלי תשאול במונחי עצמים -שינוי באובייקט גורם לשינוי בכל
מאגר הנתונים
דוגמא ל – SQL
-Codd Lawsחוקיות
.1ערך יחיד בצומת שבין שורה לשורה :אין רווח בין מילה
.2כל הערכים בעמודה מתייחסים לאותו נושא :אי אפשר להחליף את השם לראש העמודה
.3כל רשומה מהווה אובייקט ייחודי :אי אפשר לערבב בין נתונים
.4אין חשיבות לסדר השורות /הרשומות
1
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
– JOINאופרטור לצירוף טבלאות – בניית טבלה חדשה משתי טבלאות ,עפ"י עמודה אחת או יותר המשותפות
לשתי הטבלאות.
2
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
3
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
שיעור 2
היסטוגרמות:
היסטוגרמה -ייצוג גרפי של התפלגות הפיקסלים בתמונה ראסטרית .לכל פיקסל יש )Digital Number( D.N
הנע בין ( 0שחור) ל( 255 -לבן).
ישנם כמה סוגי היסטוגרמות אופייניות:
מתיחה לא ליניארית :מאפשרת הצבה מחדש של הפיקסלים כך שנקבל מספר שווה של פיקסלים
בתוך טווח הערכים .לדוג' -בהיסטוגרמה גאוסיינית נשאף ל"הרים" את הקצוות על חשבון המרכז.
4
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
דוגמאות:
אופן הביצוע :לוקחים את סה"כ גובה העמודות ומחקים במספר העמודות הרצוי:
לא ניתן לפרק את הקידוד הראשוני מכיוון שאז נצטרך לקדד מחדש ===> חייבים לאחד עמודות בכדי
שנקבל הדגשה של השוליים (על
חשבון המרכז).
נשתמש בנוסחה ====== >
5
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
לדוג' :בעמודה הראשונה חיברנו 5 + 5 + 10וקיבלנו ,20אם נחבר את העמודה הבא ( )15נעבור את הסף ()24
ולכן מפסיקים ומתחילים מחדש בעמודה הבאה.
ככל הנראה מתחילים משני הצדדים ומתכנסים לאמצע -אחרת לא מגיעים לתוצאה הנ"ל!
(שאלנו את שמעון וגם הוא לא ידע -לא בטוח שזה נכון!!!)
.3מיונים (-)Classification
6
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
מטריצת הבלבול ( -)Confusion Matrixהדיוק הכולל -סך כל האלכסונים חלקי סך כל התצפיות .דיוק
באחוזים.הדוגמה מהכיתה (מי שהבין הכול יש לו 100עלי):
זהו מדד שמשקלל את השגיאה בין המחשב למציאות .ככל שהערך קרוב ל 1 -יש התאמה טובה יותר (ערך
שלילי -שיקוף גרוע!).
7
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
שיעור 3
מטריצת הבלבול – Confusion Matrix
מדד שקלול השגיאה על ידי השוואה בערכי השדה שבדקנו אל מול ערכי המיון שעשינו במחשב.
סכום האלכסונים
1
1
3
4
3
1
1
3
1
2
2
3
2
8
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
כעת אנו בודקים במטריצה כמה פעמים לדוגמא רשמנו במיון מחשב אחד וגם בשדה קיבלנו את אותו ערך (ראה
למעלה 3פעמים).
תיקון הנקודה הבעייתית ,השאיפה שהטעות תהיה מתחת ל )X<1 ( 1וכמה שיותר קרובה לאפס.
Xr Yr Xi Yi הפרש X הפרשY הפרש X הפרש Y
בריבוע בריבוע
126 220 125 200 1 20 1 400
137 217 131 217 6 0 36 0
138 270 135 230 3 40 9 1600
9
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
1
= * (1 36 9) = 3.913
3
1
= )* (400 0 1600 = 63.56
3
ראינו שיצא ערך מאוד גבוה ,השאיפה שיצא כמה שיותר נמוך מאחד והכי קרוב לאפס !
10
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
שיעור 4
רשתותNETWORKS -
לוקטור יש יתרון על רסטר בטיפולוגיה ,יותר קל לנהל רשת קווית בוקטור כיוון שניתן להגדיר את כיווניות
התנועה מראש ,לעומת זאת ברסטר מדובר על סלילת רשת חדשה.
– Verticesאוסף נקודות לאורך הקו ,אובייקט גרפי שלא ניתן לקדד או להתנות.
– Nodesנקודות סוף הקו ,לכל קו יש Nodes 2ורק דרכם קווים מתחברים .הקווים מקבלים את כיוונם עפ"י
הגדרת ה .Nodes -אם שני קווים לא חולקים Nodesאי אפשר לעבור מאחד לשני.
קיימים שני סוגים ,המורים על כיוון התנועה-
To Node .1
From Node .2
-Geocodingהגדרת מערכת קואורדינאטות גיאוגרפיות לכתובת נתונה שמהווה קישור בין הממ"ג לעולם
האמיתי .הכתובת כוללת רחוב ,מספר ,מיקוד ,כינוי וכו' .לממ"ג יש אפשרות לתרגם את הקורדינטות של המיקום
לכתובת בעזרת ה ,locator-שיודע לתרגם את הכתובת מהרשת לכתובת שהמשתמש מחפש.
– Address dataנתון של כתובת יחידה או טבלת כתובות שברצוננו לחבר לשכבת כתובות נתונה -המשתמש
מחפש.
– Reference dataשכבה הכוללת את נתוני הכתובת ונתוני המיקום של אובייקטים כולל טבלה נושאית ,רכיב
גיאומטרי ואינדקס גיאוקוד -הללו כתובות זמניות בממ"ג.
11
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
- Mis-matchingבמידה ויש בעיות לזהות את הכתובת יש צורך להריץ אלגוריתם שבודק את הקשרים בין
שמות הכתובות
.1הפיכת מפת הבסיס למצב מוכן ל ,geocoding-קידוד שכבת הבסיס – רשת וקטורית שמגדירים לה
Leftו Right-וצריך להתאים אותה למקום עליו עובדים .בחירת .Address style
.2שלב התאמת הכתובות ( –)Batch matchingהתאמה בין הנתונים של בסיס הנתונים לטבלה של
השכבה הקווית .הפיכה לפורמט אחיד כמו ב .Join-התאמה אוטומטית שמחפשת שדה-שדה ובודקת
התאמה וזהות.
.3התאמה ידנית (עריכה) של הכתובות הבעייתיות ( -)Rematchתהליך גמיש ,ניתן לשלוט בצורה ידנית
במדדי ההתאמה באמצעות 3ציונים עפ"י רמות דיוק וקרבה של הכתובות הבעייתיות לכתובות המופיעות
בבסיס הנתונים.
– Spelling sensitivity .1קובע כמה שונות ירשה ה Address locator-כאשר יחפש מועמד בנתוני
טבלאות השכבה .קובע בכמה מועמדים ה Address locator-יטפל בהמשך -לא שולט בציון הסופי של
המועמד .ערך גבוה יגביל את החיפוש למועמדים מדויקים (פחות גמישות) וערך נמוך יותר ימצא גם מועמדים
פחות מתאימים.
* לאחר מכן ה Address locator-מחשב את ציון ההתאמה לכל מועמד ומדרג את המועמדים עפ"י ציון.
אם ציון האיות נמוך יהיו יותר מועמדים לחשב להם ציון התאמה.
– Minimum candidate score .6עד כמה נמוך יכול להיות המועמד הגרוע ביותר ,כלומר מי יוצג בחלון
לתיקון .קביעה עד כמה מקצצים את הזנב התחתון .הטווח הוא 0-100כשברירת המחדל היא 30ולכן כל מי
שיקבל פחות מ 30-יעוף .במידה ואין התאמה בערך זה אפשר להוריד את הסף ואז מועמדים עם ציון התאמה
נמוך יותר יכללו ברשימה.
- Minimum match score .3קובע כמה קרובות צריכות להיות הכתובות למועמד הדומה ביותר כדי
להיחשב מתאימות .ציון 100הוא התאמה מלאה (כל התווים שווים) .בין 80ל 99-נחשב להתאמה טובה,
כאשר הציון הגבוה ביותר יותאם .מתחת ל 80-נחשב לאי התאמה.
לסיכום:
שלב – 1סטנדרטיזציה – המערכת מחלקת את הכתובת לשדות המתאימים (שם רחוב ,מספר ,סוג רחוב וכו')
כדי שהמערכת תוכל להשוות את נתוני הכתובת לנתוני הרשת.
שלב – 6חיפוש -ה Address locator-מחפש בשכבת היעד רשומות עם מרכיבים זהים לאלו שזוהו
בסטנדרטיזציה .בשלב זה נעשה שימוש בדיוק האיות ( )spellingלהגביל את אגירת המועמדים.
שלב – 3ציון ודרוג – ה Address locator-נותן ציון ומדרג את המועמדים שנכנסו עפ"י ציון ההתאמה
שלהם ,הציונים נעים בין 0ל( 100-הציון נקבע לפי מידת ההתאמה של התווים ,לדוגמא כאשר יש 5תווים
במיקוד ויש עוד 3קריטריונים-עיר,מספר בית ושם רחוב ,אז כל תו במיקוד יהיה 20%מתוך ה 25%-שמהווה
המיקוד בציון) .לאחר מכן ה Address locator-מסמן קבוצה של מועמדים מתאימים המבוססת על הציון
המינימאלי למועמד.
שלב – 4התאמה – מוצאים את הגבוה מבין כל המועמדים המתאימים ונערכת בדיקה מול ציון ההתאמה
המינימאלי ,אם הוא גבוה יותר המועמד מסומן כמתאים ויש לנו זוכה.
טבלת כינויים -במידה וקיימות כבר הכתובות -ניתן ליצור כינויים ,המוצבים בטבלה נפרדת.
כינויים אלה משולבים ב ,JOINואז בחירת הרשומה מתבצעת על סמך הכינוי.
12
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
שיעור 5
רשתות – המכנה המשותף הוא אפשור זרימה אופטימאלית במערכת -מנסים ליצור אופטימיזציה בהתחשב בעולם
האמיתי להעברת סחורות ,אנשים.
ברשת ליניארית וקטורית יש סט קבוע של מסלולים -לא ניתן לייסד מסלול חדש (אלכסון) ולעומת זאת ,ברשת
רסטרית כל המרחב פתוח לנו למסלולים וניתן לייסד מסלול חדש (גם באלכסון!)
מבנה הרשת –
—Edge –ARC סוג ,כיוון ,אורך ,מחיר (שאותו צריך לשלם ב)edge
—Junction – NODE כיוון פנייה ,מרומזר
-Logical Networkהתכונות של האובייקטים והקשרים ביניהם -ישנה טבלה אחת לנקודה ולקו.
היא רשת ללא קואורדינאטות
תפקוד -אחסון נתוני טופולוגיה ( )Connectivityיחד עם עוד .Attributes
מרכיביהElements -
-Simple Junctionצומת שמסוגלת לחבר מס' נתון של קווים בלבד (מס' קבוע של Edgesשנכנסים אליה)
מערכת One To One
13
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
-Complex Junctionצומת שמשויכת למספר קווים וצמתים .דוג' -תחנת דלק ,תשתית של צינורות.
מערכת One To Many
– Flow Directionהכיוון שבו האוכלוסייה ,הסחורה וכו' נעה .הכיוון נקבע ע"י Sourcesו – .Sinks
– Connectivity Rulesיש בידינו את האפשרות לסנן את המידע שעובר דרך צמתים .החוקים האלה נקראים
בשם הנ"ל והם אינסופיים
-Edge Junction Ruleהחוק הפשוט מכולם.קובע אילו Junctionsיהיו מחוברים לאיזה .Edges .1
הכוונה ש Junctionמטיפוס מסוים יוכל להיות מתאים והגיוני רק ל Edgeמסוג /טיפוס מתאים.
(דוג' Junctions :מסוד מד לא מחובר ל edgeמסוג קו מתח ראשי ,אלא כן לקו מתח משני)
-Edge Edge Ruleההתניה היא על ה - junctionsקובע איזה edgeיהיה מחובר ל Edgesאחרים .2
דרך (.Junctionדוג' :מחלף כמחבר בין כביש מטיפוס עירוני וכביש מהיר -ולא פסי רכבת וכביש)
) Counter – Edge Junction Cardinality (Countהמגביל לנו את מס' ה edgesהמחוברים .3
ל ( .junctionsדוג' Junction :מסוג switchמחבר מספר קווי חשמל ,כאשר connectorמחבר רק )2
– Default Junction Typeמאפשר הוספה אוטומטית של Junctionsלטיפוסי edgesמוגדרים .4
מראש .יעיל ושימושי מאד בתשתיות( .דוג' :הוסף Junctionמסוג reducerלכל חיבור בין קווי מים
מסוג " "10לסוג " -"8מתאם)
14
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
רשתות רסטריות
חיפוש המסלול הטוב ביותר -תלוי בצורך..
– Location Modelsבחירת המקום הטוב ביותר של שירות בכדי למלא פונקציה מסוימת .לדוג' -מיקום תחנת
דלק.
– Location Measurement Problemהיכן קיימים השירותים במרחב -מאפשר לנו לנווט בין סט של
שירותים .לדוג -נסיעת אמבולנס בעיר -תלוי דרך וזמן.
רסטר
וקטור
15
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
עלות מקטע .העלות היא ביחס הפוך למרחק -ככל שה T kיותר גדול ,העלות --
יותר קטנה.
פעולת שקלול הקובעת את הציון הסופי בכל תא -אם התא נמוך במכירות אבל גבוה בפוטנציאל ,אז הציון לא יהיה
נמוך באופן אוטומטי!
פעולת סכימה -בה אם משתנה 1נמוך ,המשתנה ה 2 -מפצה עליו.
16
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
מקרא :
– 16D נקודות .הרזולוציה הכי טובה
- 8D קווי
-4D מקווקו
התוצר:
מהשטח- מדגם
מסלול שחור :כבשים עשו
מסלול לבן :עפ"י הפונקציה
17
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
18
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
שיעור 6
טיפוסים של דגמים נקודתיים-
במידה וההתפלגות אחידה נחשב את מספר הנקודות הצפוי לאכלס כל ריבוע כך :
נחשב גם חי סטטיסטי אשר יאמר לנו באיזו רמת מובהקות ההתפלגות דומה לאחידה ע"י :
השכן הקרוב ( -)Nearest Neighborניתוח מקובל בכדי לדעת מידת פיזור נקודות במרחב:
מחשבים את המרחק בין כל נקודה לנקודה ואז עושים ממוצע בין כל המרחקים.
שיטת החישוב:
1
= ערך של מדד הפיזור האקראי .1
No.Po int s
שטח המדגם 2
S=Area= 25 Area
1.07453
= הערך של מדד הפיזור הרגולארי .2
No.Po int s
Area
(בפיזור מקובץ הערך יהיה 0לכן אין חישוב)
.4מציבים את הממוצע המתקבל( 1.4במדגם זה) בסרגל הפיזור שחישבנו למדגם (החישוב מתבצע בכל
מדגם מחדש) ומקבלים את סוג הפיזור!
הפיזור במדגם זה -אקראי
19
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
אינטרפולציה מרחבית
–)triangulated irregular network( TIN .1הקודקודים הם הנקודות .פיזור הנקודות יקבע את אופי
המשולשים כדי שיהיו שווי צלעות.
מחברים נקודות תצפית עושים טריאנגולציה כך שכל משולש הוא פוליגון.
שיטת פעולה:
.1איסוף סידרת נקודות x,y,zבאמצעות GPSאו פענוח פוטוגרמטרי
.2יצירת רשת אופטימלית של משולשים (על כל משולש להיות שווה צלעות ככל האפשר)
.3הגובה מחושב לכל נקודת x,yבתוך המשולשים
20
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
-Distance ordering .6מתיחת קו בין כל הנקודות השכנות ,וחישוב המרחקים -חזרה על הפעולה עד אשר
נוצר אוסף משולשים לכל מרחב השכונה.
21
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
שיעור 7
אינטרפולציה:
א .מציאת ערכים וייצור שיכבה המיוצגת על פיהם .באינטרפולציה באיכות טובה הערכים הנבחרים מייצגים
באופן אמיתי (או קרוב מאוד לאמיתי) את פני השטח הנצפים.
ב .עקרון האינטרפולציה הוא מיצוע הערכים המייצגים תופעה מסוימת בשטח (למשל גובה).
הגדרות מהאינטרנט:
הבעייתיות :בממוצעים -אי רציפות במרחב יכולה להופיע כלא נכונה וכלא תואמת את
המציאות בשטח.
סיכומון:
22
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
-IDWלכל נקודה ברדיוס החיפוש משקל שווה על ההשפעה .טוב לפני שטח הטרוגניים.
-KRIGINGמשקולות לפי פונקציה אמפירית .טוב לפני שטח הומוגנים.
Semivairogram
גרף המבטא את שונות התופעה כפונקציה של מרחק
מהנקודה החזויה.
מודד את חוזק הקשר הסטטיסטי בין כל צמדי הנקודות
כפונקציה של המרחק ביניהן .מתודה זו משמשת
להתאמת מודל לקורלציה מרחבית של התצפיות .מודל
זה משמש להגדרת המשקולות באינטרפולצית .kriging
בציר ה - Yערכי ה Semivariogram
בציר ה - Xערכי המרחקים לפי החלוקה של ה BINS
לפי הנוסחא :
23
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
24
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
שיעור 8
ניתוח רב-שכבתי
ניתוח זה עוזר לנו לעבד ולנהל את הנתונים ע"י כמה אפשרויות ,כאשר שכבות זהות בגודלן –
הצגת שכבה א' והשטח החופף עימה בשכבה ב' בלבד Identity
25
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
אופרטורים רסטרים
עובדים פר-תא ,בצורת -Worm Eyeהסתכלות רק על התא עצמו ללא התחשבות בשכנים.
מאכלסים את שכבת
הפלט על סמך הנתון
השלמה
הדרוש להשלמה לערך
לערך
מסוים
(דוג' זו :ל)28-
26
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
אזורים
קידוד על פי גודל
קרובי
התאים ,ללא קשר לתוכן
תופעה
LOCAL
מאכלסים את התצפית
שחוזרת הכי הרבה Focal
בתא המרכזי Majority
(גודל תא )3,3
FOCAL
מאכלסים את התצפית
בעלת הערך הכי Focal
מינימאלי בתא המרכזי Min
(גודל תא )3,3
מאכלסים את התצפית
Focal
הממוצעת בתא המרכזי
Mean
(גודל תא )3,3
27
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
ZONAL
28
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
מספר צרכים עיקריים בעיסוק ב , Metadataהנובעים בין היתר מכמות המידע הגדלה במהירות :
.1יכולת של אחזור מידע ע"י המשתמש
.2יכולת העברת המידע בין אנשים ,ארגונים ופרסומים
.3הצורך הבסיסי ביותר -סטנדרטיזציה – יצירת קטגוריות בשביל לעשות סדר במידע
3קבוצות (לשוניות) –
.1תיאור תקציר כללי – מידע על
המחברים ,תאריך
.2תיאור מרחבי – תיקון גיאומטרי,
קורדינטות ,דיוק הרשת
.3תכונות – מכילה שיטות קטגוריזציה כדי
להבין את המטריצה שמאחורי התוצאה,
בדיקת אי הוודאות של הנתונים
29
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
שיעור 9
בעיות חוסר קישוריות בנחלים ותיקונם על ידי אפשרויות שונות
30
סיכום ממ"ג למתקדמים ( ------- )6002-7פרופ' טל סבוראי
יצירת MOD
בהצלחה!
31