‫‪ 

1 ‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫אריאל סטולרמן‬

‫‪ ‬‬
‫סיכומים למבחן בקורס סטטיסטיקה למדעי המחשב‬
‫סמסטר א' ‪) 2008-9‬ד"ר סהרון רוסט(‬
‫תוכן עניינים‪:‬‬
‫רווחי סמך‪  :‬‬ ‫•‬ ‫הגדרות בסיסיות בהסתברות בדידה ‪ ‬‬ ‫•‬
‫רווחי סמך ומשמעותם ‪ ‬‬ ‫‪o‬‬ ‫פרדוקס סימפסון ‪ ‬‬ ‫•‬
‫אינווריאנטיות רווחי סמך תחת טרנס' מונוטונית ‪ ‬‬ ‫‪o‬‬ ‫ניתוחים ויזואליים של משתני מדידה מספריים ‪ ‬‬ ‫•‬
‫בדיקת השערות‪  :‬‬ ‫•‬ ‫תמצית מספרית של נתונים מספריים‪  :‬‬ ‫•‬
‫מושגי ייסוד‪ ,‬סוגי השערות ‪ ‬‬ ‫‪o‬‬ ‫הגדרות‪ :‬תמצית מספרית‪ ,‬סטטיסטי הסדר ‪ ‬‬ ‫‪o‬‬
‫רמת מובהקות‪ ,‬סוגי טעויות ועוצמה ‪ ‬‬ ‫‪o‬‬ ‫שברונים ואחוזונים של התפלגות אמפירית ‪ ‬‬ ‫‪o‬‬
‫בחירת אזורי דחייה והלמה של ניימן‪-‬פירסון )‪  (NP‬‬ ‫•‬ ‫קריטריונים לבחירת תמציות ‪ ‬‬ ‫‪o‬‬
‫הלמה של ניימן‪-‬פירסון ‪ ‬‬ ‫‪o‬‬ ‫תמציות למיקום‪ ,‬פיזור‪ ,‬נטייה ‪ ‬‬ ‫‪o‬‬
‫מבחנים בעלי עוצמה מקסימלית לפי ‪  NP‬‬ ‫‪o‬‬ ‫מטרות ההצגה הגרפית ‪ ‬‬ ‫•‬
‫הכללת ‪ – NP‬מבחנים בעלי עוצמה מקסימלית‬ ‫‪o‬‬ ‫מידול מתמטי של קשרים בין משתנים – רגרסיה לינארית‪  :‬‬ ‫•‬
‫במידה שווה )‪  (UMP‬‬ ‫הקו החסין ‪ ‬‬ ‫‪o‬‬
‫הסקה סטטיסטית בבעיות רגרסיה ‪ ‬‬ ‫•‬ ‫קו הריבועים הפחותים ‪ ‬‬ ‫‪o‬‬
‫מדידת טיב התאמת קו הריבועים הפחותים‬ ‫‪o‬‬
‫מבחנים לקשר בין ‪ 2‬התפלגויות ‪ /‬מ"מ‪  :‬‬ ‫•‬
‫מבחנים לא מזווגים לשני מדגמים ‪ ‬‬ ‫‪o‬‬ ‫לנתונים‪ :‬מקדם המתאם של פירסון ) ( ותכונותיו ‪ ‬‬
‫הסקה במדגמים מזווגים ‪ ‬‬ ‫‪o‬‬ ‫ניתוח שאריות וטרנס' ללינאריוּת‬ ‫‪o‬‬
‫הסקה על קשרים בין התפלגויות בדידות קטגוריאליות ‪ ‬‬ ‫•‬ ‫רגרסיה רב משתנית‪ ,‬קריטריון ‪  RSS‬‬ ‫‪o‬‬
‫מבחנים לשוויון פרופורציות ‪ ‬‬ ‫•‬ ‫משתנים מקריים רציפים‪  :‬‬ ‫•‬
‫(‪  :‬‬ ‫התפלגות חי בריבוע )‬ ‫•‬ ‫פונ' הסתברות מצטברת‪ ,‬פונ' צפיפות ‪ ‬‬ ‫‪o‬‬
‫הגדרה ‪ ‬‬ ‫‪o‬‬ ‫משתנה מקרי רציף ‪ ‬‬ ‫‪o‬‬
‫‪ ‬‬ ‫רגרסיה מול‬ ‫‪o‬‬ ‫התפלגות משותפת מותנה של מספר מ"מ רציפים ‪ ‬‬ ‫‪o‬‬
‫של פירסון לאיכות התאמה ‪ ‬‬ ‫מבחן‬ ‫‪o‬‬ ‫תוחלת ושונות מ"מ רציפים ‪ ‬‬ ‫‪o‬‬
‫אחוזונים ושברונים של התפלגויות רציפות ‪ ‬‬ ‫‪o‬‬
‫נושאים נוספים‪  :‬‬ ‫•‬
‫השוואות מרובות ‪ ‬‬ ‫‪o‬‬ ‫משפט הגבול המרכזי לקירוב נורמלי‪  :‬‬ ‫•‬
‫מבחנים סטטיסטיים לא‪-‬פרמטריים ‪ ‬‬ ‫‪o‬‬ ‫הגדרה ‪ ‬‬ ‫‪o‬‬
‫אמידה בייסיאנית ‪ ‬‬ ‫‪o‬‬ ‫מתי הקירוב הנורמלי מתאים ‪ ‬‬ ‫‪o‬‬
‫מבוא להסקה סטטיסטית ‪ ‬‬ ‫•‬
‫מושגי ייסוד באמידה ‪ ‬‬ ‫‪o‬‬
‫תכונות אומדים ואיכותם‪ :‬הטיה‪ ,‬פיזור‪,MSE ,‬‬ ‫‪o‬‬
‫עקיבות ‪ ‬‬
‫גישות ליצירת אומדים‪  :‬‬ ‫•‬
‫פונ' נראות מקסימלית ‪ ‬‬ ‫‪o‬‬
‫אומד נראות מקסימלי ותכונותיו‬ ‫‪o‬‬
‫‪  2 ‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫אריאל סטולרמן‬
‫‪ ‬‬
‫הגדרות בסיסיות בהסתברות בדידה‪:‬‬
‫תוחלת‪:‬‬
‫‪ .‬תכונות‪:‬‬ ‫∑‬ ‫‪ ,‬התוחלת‪:‬‬ ‫בהינתן ‪ X‬מ"מ מהתפלגות ‪ ,F‬ומרחב המדגם מקיים‬
‫‪ ‬‬ ‫‪:‬‬ ‫א‪ .‬לכל‬
‫‪ ‬‬ ‫אדיטיביות‪:‬‬ ‫ב‪.‬‬
‫‪ ‬‬ ‫פונ' לינארית‪ ,‬מתקיים‪:‬‬ ‫עבור‬ ‫ג‪.‬‬
‫שונות‪:‬‬
‫‪ .‬תכונות‪:‬‬ ‫מידת ה"פיזור" של ‪:X‬‬

‫‪ ‬‬ ‫‪:‬‬ ‫א‪ .‬לכל‬

‫‪ ,‬כלומר‪ ,‬מתקיימת‬ ‫‪,‬‬ ‫‪ .‬עבור מ"מ בלתי מתואמים‪0 :‬‬ ‫‪2‬‬ ‫‪,‬‬ ‫ב‪.‬‬
‫‪,‬‬ ‫·‬ ‫אדיטיביות תחת אי תלות‪ .‬נוסחה ל‪:cov-‬‬
‫מקדם המתאם‪:‬‬
‫‪,‬‬
‫‪. 1‬‬ ‫‪,‬‬ ‫מקדם המתאם )של פירסון(‪1 :‬‬
‫·‬

‫‪ -‬קשורים לינארית בפונ'‬ ‫– קשורים לינארית‪1 ,‬‬ ‫אזי לא קיים קשר לינארי בין שני המ"מ )בלתי לתלויים לינארית(‪ .‬אם ‪1‬‬ ‫אם ‪0‬‬
‫לינארית הפוכה‪.‬‬
‫דוגמאות למ"מ בדידים חשובים‪:‬‬
‫‪ ‬‬ ‫שונות‬ ‫תוחלת‬ ‫פונ' התפלגות‬ ‫התפלגות‬

‫‪1‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫‪1‬‬ ‫‪,‬‬ ‫(‬ ‫ברנולי עם פרמטר ‪) p‬לרוב מרחב מדגם פשוט‪0,1 :‬‬
‫‪0‬‬ ‫‪1‬‬ ‫‪ ‬‬ ‫~‬
‫סיפור‪ :‬הסיכוי להצלחה בהטלת מטבע בודדת‬
‫‪1‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫‪1‬‬ ‫בינומי עם פרמטרים ‪n,p‬‬
‫~‬ ‫‪,‬‬
‫‪, ‬‬
‫סיפור‪ :‬הסיכוי ל‪ k-‬עצים ב‪ n-‬הטלות מטבע )‪ – p‬סיכוי לעץ(‬
‫‪ 0‬‬ ‫‪ ‬‬
‫∑‪ .‬מכאן גם ניתן לחשב את התוחלת והשונות לבינומי‬ ‫~‬ ‫‪,‬‬ ‫וב"ת‪ ,‬אזי‪:‬‬ ‫‪,…,‬‬ ‫~‬ ‫נשים לב כי אם‬
‫‪ ‬‬ ‫‪ ‬‬ ‫פואסוני עם פרמטר‬
‫·‬ ‫‪, ‬‬
‫!‬ ‫~‬ ‫‪ ‬‬
‫‪ ‬‬ ‫‪0 ‬‬
‫סיפור‪ :‬הסיכוי להתרחשות ‪ k‬אירועים בפרק זמן קבוע בקצב ‪,‬‬
‫כאשר מס' אירועים בכל פרק זמן אינו תלוי בזמנים אחרים‬
‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪· , ‬‬ ‫גיאומטרי עם פרמטר ‪p‬‬
‫‪ ‬‬ ‫‪ ‬‬
‫‪1‬‬ ‫~‬
‫סיפור‪ :‬הסיכוי שהעץ הראשון שנקבל יהיה בהטלה ה‪k-‬‬
‫‪1‬‬ ‫היפרגיאומטרית עם פרמטרים ‪N,D,n‬‬
‫‪ ‬‬ ‫‪ ‬‬
‫‪1‬‬ ‫~‬ ‫‪, ,‬‬ ‫‪ ‬‬
‫סיפור‪ :‬מתוך אוכלוסיה בגודל ‪ N‬המכילה ‪ D‬פריטים מיוחדים‬
‫ממנה שולפים ‪ n‬פריטים‪ ,‬הסיכוי שמתוכם ‪ k‬פריטים יהיו‬
‫מיוחדים‬

‫‪ | ‬‬ ‫‪ | ‬‬ ‫·‬ ‫נוסחה חשובה להתפלגות מותנית להחלפת סדר ההתניה‪:‬‬
‫‪  3 ‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫אריאל סטולרמן‬
‫‪ ‬‬
‫פרדוקס סימפסון‪:‬‬
‫פרדוקס סטטיסטי בו הצלחת קבוצת מחקר מסויימת נראית שונה כאשר מאחדים בין קבוצות‪.‬‬
‫דוגמא שניתנה בשיעור‪ :‬אחוז הקבלה של בנות לאונ' נמוך מאחוז הקבלה של בנים‪ ,‬אך אם מסתכלים על כל פקולטה בנפרד מקבלים שבכל פקולטה‬
‫אחוז הקבלה של הבנות גדול מאחוז הקבלה של הבנים‪ .‬לכאורה מקבלים כאן פרדוקס‪ ,‬אך ניתן לראות שהנתונים מאפשרים זאת באמצעות משחק‬
‫עם הנוסחאות )בייס‪ ,‬ההסתברות השלמה(‪.‬‬

‫ניתוחים ויזואליים של משתני מדידה מספריים‪:‬‬

‫היסטוגרמה‪ :‬מהתבוננות בהיסטוגרמה ניתן לדלות מידע מתוך‪:‬‬
‫מספר השיאים ‪ ‬‬ ‫•‬
‫סימטריה ‪ /‬זנב ימינה או שמאלה ‪ ‬‬ ‫•‬
‫ערכים קיצוניים המעידים על תצפיות מיוחדות או טעויות מדידה‪  .‬‬ ‫•‬
‫היסטוגרמה נעה‪ :‬שמים את רוחב כל תא על כל נקודה ממשית בציר ה‪ -‬ולאותה נקודה נותנים כערך את מספר התצפיות ברוחב שמדדנו‪.‬‬
‫אם נקח רוחב תא קטן מדי‪ ,‬יהיו לנו הרבה קפיצות‪ ,‬ואם נקח רוחב תא גדול מדי‪ ,‬נאבד אינפורמציה‪.‬‬
‫טרנספורמציות של ‪ :‬שינוי סקאלה כדי שתצוגת הנתונים תהיה אינפורמטיבית‪ ,‬כגון טרנס' ‪.log‬‬

‫תמצית מספרית של נתונים מספריים‪:‬‬

‫הגדרות‪:‬‬
‫‪ ,‬נגדיר‪:‬‬ ‫‪,…,‬‬ ‫עבור אוסף תצפיות‬
‫שאינה תלויה בסדר הנתונים‪  .‬‬ ‫תמצית אמפירית )‪ :(summary statistic‬של אוסף נתונים הוא פונקציה‬
‫סטטיסטי הסדר )‪ :(order statistic‬של אוסף נתונים הוא אותו אוסף הערכים‪ ,‬אך מסודר בסדר עולה )וקטור ערכים ממויין(‪  .‬‬

‫שברונים ואחוזונים של התפלגות אמפירית )‪:(Percentiles, Quantiles ‬‬

‫הוא השברון ה‪,0.5-‬‬ ‫‪ ,‬והוא האחוזון ה‪ .100 -‬למשל‪0.5 :‬‬ ‫‪.‬‬ ‫‪ 0‬עבור ההתפלגות האמפירית הוא‪:‬‬ ‫השברון ה‪ q-‬כאשר ‪1‬‬
‫באופן‬ ‫ל‪0.5 -‬‬ ‫אינו שלם‪ ,‬נקח את הערך הנופל בין ‪0.5‬‬ ‫שהוא האחוזון ה‪ ,50%-‬כלומר החציון במקרה זה‪ .‬אם ‪0.5‬‬
‫פרופורציונאלי למרחק ביניהם )אינטרפולציה לינארית(‪:‬‬
‫‪0.5‬‬ ‫· ‪0.5‬‬ ‫‪.‬‬ ‫‪0.5‬‬ ‫· ‪0.5‬‬ ‫‪.‬‬ ‫‪ ‬‬
‫‪.‬‬ ‫נשים לב כי כל מרחק מכפילים בשברון הנגדי לו‪ ,‬כיוון שהמרחק הקצר = השברון שקרוב אליו משפיע יותר על‬

‫אינו מוגדר‪.‬‬ ‫או‬ ‫הערה‪:‬‬

‫קריטריונים לבחירת תמציות‪:‬‬

‫)‪ (1‬נקודת השבירה‪:‬‬
‫אחוז התצפיות שצריך "לקלקל" בכדי לגרום לשינוי לא חסום בתמצית‪ .‬דוגמאות‪  :‬‬
‫ממוצע‪ :‬נק' שבירה ‪ ,‬כי מספיק לשלוח תצפית אחת לאינסוף כדי לקלקל את הממוצע – שיהיה גם הוא אינסוף‪.‬‬ ‫•‬

‫(‪.‬‬ ‫עד‬ ‫תצפיות‪ ,‬והחציון עדיין בטווח של האוסף המקורי )שהוא‬ ‫חציון‪ :‬בערך ‪ ,‬למשל במדגם אי זוגי נוכל לקלקל את עד ‪ ‬‬ ‫•‬

‫‪ .‬למשל‪ :‬עבור ממוצע‪ ;0 :‬חציון‪ ; :‬ממוצע קצוץ ‪  . :‬‬ ‫נקודת השבירה האסימפטוטית‪ :‬גבול נקודת השבירה כאשר ∞‬
‫)‪ (2‬אינווריאנטיות )אי תלות בסקאלה(‪:‬‬
‫‪ :‬פונ' מונוטונית‪ .‬למשל‪ :‬ממוצע‪ :‬לא; חציון‪ :‬כן; קצוץ ‪ :‬לא‪.‬‬ ‫‪ ,‬עבור‬ ‫אינוו' לטרנס' מונוטונית היא שמתקיים‪:‬‬

‫תמציות למיקום‪:‬‬
‫‪ :‬המקיימת‪:‬‬ ‫באופן אבסטרקטי – "אמצע" הנתונים שלנו )כמו ממוצע או חציון(‪ .‬פורמלית‪ ,‬פונקציה‬
‫‪ ‬‬ ‫•‬
‫‪ ‬‬ ‫•‬
‫‪  4 ‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫אריאל סטולרמן‬
‫‪ ‬‬
‫דוגמאות לתמציות למיקום )מקיימות את שתי התכונות(‪:‬‬
‫∑‬
‫‪ ‬‬ ‫ממוצע‪:‬‬ ‫•‬

‫∑‪  .‬‬ ‫‪ ,‬כאשר‪1 :‬‬ ‫∑‬ ‫ממוצע משוקלל‪:‬‬ ‫•‬

‫‪ .‬‬ ‫‪ -‬הסדרון היחיד המקיים את התכונה השניה לכל ‪ .c‬כל שאר הסדרונים מקיימים רק עבור ‪0‬‬ ‫‪.‬‬ ‫חציון‪:‬‬ ‫•‬

‫הוא השברון ה‪ i-‬עבור סטטיסטי הסדר‪ ,‬כלומר ‪ X‬ממויין(‪  .‬‬ ‫)הורדת הקצוות;‬ ‫∑‬ ‫ממוצע קצוץ ‪:‬‬ ‫•‬

‫תמציות לפיזור‪:‬‬
‫‪ :‬המקיימת‪:‬‬ ‫פונקציה‬
‫‪ ‬‬ ‫•‬
‫‪ ‬‬ ‫‪ ,‬מכאן ש‪:‬‬ ‫‪0,‬‬ ‫·| |‬ ‫•‬
‫‪ ‬‬ ‫‪0‬‬ ‫•‬
‫דוגמאות לתמציות לפיזור‪:‬‬
‫‪ ,‬נק' שבירה אסימפ' ‪) 0‬מספיק לשנות תצפית אחת ל‪  .(∞-‬‬ ‫טווח‪:‬‬ ‫•‬

‫אסימפטוטית ‪ .0‬השונות האמפירית לא מקיימת את התכונה השניה‪,‬‬ ‫‪ ,‬נק' שבירה‬ ‫∑‬ ‫סטיית התקן האמפירית‪:‬‬ ‫•‬

‫כיוון שהכפלה ב‪ c-‬גוררת הכפלה ב‪  . -‬‬

‫‪ ,‬נק' שבירה בערך ‪ ,‬אסימפ' ‪  .‬‬ ‫‪.‬‬ ‫‪.‬‬ ‫טווח בין רביעונים‪:‬‬ ‫•‬

‫‪ ,‬כלומר‪ :‬חציון כל הערכים המוחלטים של ההפרשים מהחציון‪.‬‬ ‫|‬ ‫‪.‬‬ ‫|‬ ‫‪) MAD‬המדד המשוגע(‪:‬‬ ‫•‬

‫תמציות למיקום‪ ,‬היא תמצית לפיזור )לפי התכונות(‪  .‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫|‬ ‫נק' שבירה‪ :‬אסימפ' ‪ .‬טענה‪ :‬כל תמצית מהצורה‪| :‬‬

‫תמציות לנטייה‪:‬‬
‫‪ -‬לוקחים ממוצע שני סדרונים הנמצאים במרחק שווה מהאמצע‪ ,‬ומחסירים החציון‪.‬‬ ‫‪.‬‬ ‫נגדיר תחילה פונ' נטייה ‪:Sk‬‬

‫נטייה ימינה )זנב ימינה(‪ Sk :‬פונ' יורדת של ‪.i‬‬

‫‪ :‬המקיימת‪:‬‬ ‫פונקציה‬
‫‪ ‬‬ ‫•‬
‫‪ ‬‬ ‫‪,‬‬ ‫•‬
‫)אין נטייה(‪  .‬‬ ‫‪ ,‬ומצירוף תכונות ‪ 1‬ו‪ 2-‬נובע שאם המדגם סימטרי אז ‪0‬‬ ‫•‬
‫‪ .‬‬ ‫‪0‬‬ ‫יורד ב‪) i-‬נטייה ימינה(‬ ‫•‬
‫דוגמאות לתמציות לנטייה‪:‬‬
‫‪.‬‬ ‫‪.‬‬ ‫‪/‬‬ ‫‪.‬‬
‫‪ ‬‬ ‫מדד ‪ YULE‬לנטייה‪:‬‬ ‫•‬
‫‪.‬‬ ‫‪.‬‬ ‫‪/‬‬

‫∑‬
‫‪ ‬‬ ‫מדד ‪:Pearson‬‬ ‫•‬
‫∑‬

‫מטרות ההצגה הגרפית‪:‬‬

‫זיהוי אשכולות )‪ – (clustering‬קבוצות המתנהגות באופן דומה לפי מדדים שונים‪  .‬‬ ‫‪.1‬‬
‫זיהוי וחקר תצפיות חריגות‪  .‬‬ ‫‪.2‬‬
‫תיאור קשר בין משתנים‪  .‬‬ ‫‪.3‬‬
‫‪ .‬‬ ‫|‬ ‫הבנת ההתפלגות המותנה‪:‬‬ ‫‪.4‬‬
‫מטרה חשובה של ניתוח נתונים היא מציאת סיבתיות‪ ,‬אך גם בניתוח גרפי ומתמטי יתכן ונמצא קורילציה‪ ,‬אך לא בטוח שהיא סיבתית‪.‬‬
‫‪  5 ‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫אריאל סטולרמן‬
‫‪ ‬‬
‫מידול מתמטי של קשרים בין משתנים – רגרסיה לינארית‪:‬‬
‫עבור משתנה מסביר ‪ X‬ומשתנה מוסבר )תלוי( ‪ ,Y‬אנו רוצים לתאר במספר את הקשר הלינארי ביניהם )‪ 2‬מספרים(‪.‬‬
‫שיטת הקו החסין )‪:(Resistant line‬‬
‫‪.‬‬ ‫‪,‬‬ ‫‪,…,‬‬ ‫‪,‬‬ ‫נתון אוסף זוגות מספרים‪:‬‬
‫‪ .‬נסמן את הקבוצות‪  low,mid,hi :‬‬ ‫‪,‬‬ ‫נחלק את ציר ה‪ -‬ל‪ 3-‬חלקים שווים לפי‬ ‫•‬

‫‪ .‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫ניקח חציוני ‪ y‬ל‪:low,hi-‬‬ ‫•‬

‫‪ ‬‬ ‫נגדיר שיפוע‪:‬‬ ‫•‬

‫‪ ‬‬ ‫‪ .‬נגדיר את החותך‪:‬‬ ‫אנו רוצים מחצית מהנקודות מעל הקו ומחצית מתחת‪ ,‬נסמן‪:‬‬ ‫•‬
‫עבור בדיוק מחצית מהתצפיות‪ ,‬כנדרש‪.‬‬ ‫מתקיים ש‪0-‬‬ ‫עבור הקו החסין שהתקבל‬

‫נקודת השבירה היא ‪ -‬קלקול עד חצי )בערך( מתוך מהנתונים‪.‬‬

‫קו הריבועים הפחותים )‪:(Least­squares line‬‬

‫מהקו‪ .‬נגדיר את ‪RSS‬‬ ‫‪,‬‬ ‫– הסטיה של הנקודה‬ ‫הרעיון של בניית הקו‪ :‬מגדירים קו כללי כלשהו ע"י ‪) a,b‬חיתוך‪ ,‬שיפוע(‪ ,‬ולפיו מגדירים‬
‫)‪ (Residual  sum  of  squares‬להיות סכום ריבועי הסטיות הללו‪ .‬קו הריבועים הפחותים יהיה ‪ a,b‬שיביאו את ‪ RSS‬למינימום‪ .‬נקבל את הקו‬
‫∑‬ ‫‪,‬‬
‫‪.‬‬ ‫∑‬
‫‪,‬‬ ‫כאשר‬

‫תמיד נמצאת על קו זה‪.‬‬ ‫‪,‬‬ ‫נקבל כי נקודת הממוצעים‬

‫מדידת טיב התאמת קו הריבועים הפחותים לנתונים‪:‬‬

‫מקדם המתאם של פירסון ) (‪:‬‬
‫‪,‬‬
‫‪:‬‬ ‫‪ .‬תכונות‬ ‫·‬ ‫מתקיים‪:‬‬ ‫‪ .‬מכאן נקבל שעבור‬
‫·‬

‫‪ ‬‬ ‫•‬
‫אז נקבל‬ ‫‪ ,‬ומכאן שאין קשר לסקאלה של הצירים‪ .‬אם ‪0‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫‪ f ,‬טרנס' לינארית‪ ,‬אזי‪:‬‬ ‫אם ‪0‬‬ ‫•‬
‫‪ .‬‬ ‫‪,‬‬ ‫שזה שווה ל‪-‬‬
‫‪1,‬‬ ‫‪0‬‬
‫‪ .‬אם הקו עובר בכל הנקודות‪ ,‬נקבל |‪  .|1‬‬ ‫‪,‬‬ ‫‪1,‬‬ ‫‪0‬‬ ‫•‬
‫‪0,‬‬ ‫‪0‬‬
‫‪1‬‬ ‫‪1‬‬ ‫•‬
‫‪:‬‬ ‫משמעות‬
‫( מוסבר ע"י קו הריבועים הפחותים‪ .‬כלומר‪ ,‬אם נקח‬ ‫הוא‪ :‬אחוז השונות המוסברת‪ ,‬כלומר‪ ,‬איזה אחוז מהשונות שהתחלנו ממנה )‬
‫( נקבל שהשונות של ‪ y‬הוא ‪ RSS‬עבור ערכים אלו של ‪.a,b‬‬ ‫)ואז‬ ‫‪0‬‬
‫‪ .‬כמו כן נקבל קו אופקי‪ ,‬שלא מסביר כלום מהשונות של ‪ ,y‬כלומר לא "מפחית" מהשונות שהיתה קודם‪.‬‬ ‫הסבר‪ :‬אם ניקח שיפוע ‪ ,0‬ברור ש‪0-‬‬
‫‪ .‬כלומר‪ 0 ,‬אחוז מהשונות הוסבר ע"י הקו‪ ,‬ולכן סכום ריבועי המרחקים מהקו הוא השונות שהיתה ונשארה‪.‬‬ ‫לכן ה‪ RSS-‬שנקבל הוא‬
‫קטן‪.‬‬ ‫בקיצור‪ :‬פיזור גדול סביב הקו = אחוז מוסבר קטן =‬
‫‪:‬‬ ‫תכונות וחולשות‬
‫זהו מדד לאיכות המודל הלינארי‪ .‬רצוי להשוות לפי מדד זה רק בין מודלים שהותאמו על אותם נתונים‪  .‬‬ ‫•‬
‫תמיד(‪  .‬‬ ‫מדד זה רגיש לגודל הרעש – תכונה רצויה‪ ,‬אך גם רגיש לכמות הנתונים – תכונה לא רצויה )עם ‪ 2‬נק' בלבד נקבל ‪1‬‬ ‫•‬
‫‪  6 ‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫אריאל סטולרמן‬
‫‪ ‬‬
‫ּ‬
‫ניתוח שאריות וטרנס' ללינאריו ת‪:‬‬

‫‪.‬‬ ‫‪ ,‬כאשר‬ ‫נסמן את השאריות‬

‫אם ישנו סדר או מגמה בשאריות‪ ,‬אזי הקשר בין ‪ x‬ל‪ y-‬כנראה לא לינארי‪ .‬נניח ‪ f‬היא פונ' לא לינארית המתארת את הקשר בין ‪ x‬ל‪ ,y-‬אזי עבור‬
‫‪ ,‬ונקבל התאמה מושלמת‪.‬‬ ‫‪0,‬‬ ‫‪ ,‬עם ‪1‬‬ ‫נוכל להתאים קו ישר‬
‫כללי אצבע בהסתכלות על שאריות‪:‬‬
‫אם לשארית צורה קמורה עם בטן כלפי מטה‪ ,‬אז‪  :‬‬ ‫•‬
‫‪ .‬‬ ‫עבור ‪1‬‬ ‫או‬ ‫עבור ‪1‬‬ ‫‪ :‬יש לנסות את הטרנס'‬ ‫אם ‪0‬‬ ‫‪o‬‬
‫‪ . 1‬‬ ‫עבור ‪0‬‬ ‫או‬ ‫עבור ‪1‬‬ ‫‪ :‬יש לנסות את הטרנס'‬ ‫אם ‪0‬‬ ‫‪o‬‬
‫‪ .‬‬ ‫‪1,1‬‬ ‫עבור‬ ‫‪ , 1‬או‬ ‫עבור ‪1‬‬ ‫אם לשארית צורה קעורה )בטן מעלה(‪:‬‬ ‫•‬
‫רגרסיה רב משתנית )אותה גברת בשינוי לאדרת ממש מכוערת ומגעילה(‪:‬‬
‫ונרצה להתאים את‬ ‫‪,…,‬‬ ‫טבעי כלשהו – ‪ p‬משתנים מסבירים ל‪ .y-‬נכתוב וקטור עמודה‬ ‫עבור ‪1‬‬ ‫כעת מתקיים כי‬
‫הם הפרמטרים שנרצה להתאים(‪.‬‬ ‫‪,…,‬‬ ‫)‬ ‫המודל‬
‫)כמו קודם‪ ,‬רק עם ה‪ -‬החדש(‪ .‬לפי כתיב מטרציוני נקבל שזו נורמה ריבועית אוקלידית של וקטור‪:‬‬ ‫∑‬ ‫קריטריון ‪:RSS‬‬

‫כמוגדר לעיל‪.‬‬ ‫‪ -‬מטריצה שכל שורותיה הן‬ ‫– וקטור שורה של כל ה‪; -‬‬ ‫‪,…,‬‬ ‫‪ ,‬כאשר כאן‪:‬‬ ‫|‬ ‫|‬

‫‪.‬‬ ‫·‬ ‫·‬ ‫שיביא את ‪ RSS‬למינימום‪ ,‬ונקבל‪:‬‬ ‫נרצה גם כאן למצוא‬

‫משתנים מקריים רציפים‪:‬‬

‫פונקצית הסתברות מצטברת ופונקצית צפיפות‪:‬‬
‫תהי ‪ F‬פונ' הסתברות מצטברת עם התכונות‪:‬‬
‫עבור ‪ ,‬כלשהם על ציר ה‪  . -‬‬ ‫‪0,‬‬ ‫‪1‬‬ ‫•‬
‫‪ F‬לא יורדת‪  .‬‬ ‫•‬
‫‪.‬‬ ‫מתקיים‪:‬‬ ‫נאמר שמ"מ ‪ X‬מתפלג ע"פ ‪ ~ :F‬אם לכל‬

‫‪ .‬תכונות הצפיפות‪:‬‬ ‫תהיה‪:‬‬ ‫פונ' הצפיפות‬

‫‪ ‬‬ ‫לכל‬ ‫‪0‬‬ ‫•‬

‫‪ ‬‬ ‫‪1‬‬ ‫•‬

‫דוגמאות‪:‬‬
‫‪0,‬‬ ‫‪0‬‬
‫‪1, 0‬‬ ‫‪1‬‬
‫‪ .‬‬ ‫‪,0‬‬ ‫‪1,‬‬ ‫‪ ,‬מתקיים‪:‬‬ ‫~ ‪0,1 ,‬‬ ‫מ"מ אחיד רציף סטנדרטי‪0,1 :‬‬ ‫•‬
‫‪0,‬‬ ‫‪/‬‬
‫‪1, 1‬‬

‫‪ .‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫~ ‪,‬‬ ‫מ"מ נורמלי סטנדרטי‪0,1 :‬‬ ‫•‬

‫√‬

‫‪ .‬‬ ‫‪,‬‬ ‫~ ‪:‬‬ ‫‪,‬‬ ‫מ"מ נורמלי כללי‪:‬‬ ‫•‬

‫התפלגות משותפת מותנה של מספר מ"מ רציפים‪:‬‬

‫יהיו ‪ X,Y‬מ"מ רציפים‪ .‬נגדיר‪:‬‬
‫‪ ‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫התפלגות משותפת‪:‬‬ ‫•‬
‫‪ ‬‬ ‫|‬ ‫|‬ ‫|‬ ‫‪,‬‬ ‫‪/‬‬ ‫התפלגות מותנה‪  :‬‬ ‫•‬
‫‪ ‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫‪/‬‬ ‫צפיפות משותפת‪  :‬‬ ‫•‬
‫‪.‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫|‬ ‫|‬ ‫‪,‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫אם ‪ X,Y‬ב"ת אזי‪:‬‬
‫‪  7 ‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫אריאל סטולרמן‬
‫‪ ‬‬
‫תוחלת ושונות מ"מ רציפים‪:‬‬
‫‪ ,‬אזי‪:‬‬ ‫~ מ"מ רציף עם צפיפות‬ ‫יהי‬
‫‪ ‬‬ ‫תוחלת‪:‬‬ ‫•‬

‫(‪ ‬‬ ‫)חלק חשוב בחישוב‪:‬‬ ‫שונות‪:‬‬ ‫•‬

‫דוגמאות‪:‬‬
‫‪ .‬‬ ‫‪,‬‬ ‫~ ‪:‬‬ ‫‪0,1‬‬ ‫•‬

‫‪ ‬‬ ‫‪,‬‬ ‫~ ‪:‬‬ ‫‪,‬‬ ‫•‬

‫~ ‪ :‬ברור‪  .‬‬ ‫‪,‬‬ ‫)מן הסתם(‪.‬‬ ‫‪0,‬‬ ‫~ ‪1:‬‬ ‫‪0,1‬‬ ‫•‬

‫אחוזונים ושברונים של התפלגויות רציפות‪  :‬‬

‫‪ .‬דוגמאות‪:‬‬ ‫‪ ,‬כלומר‬ ‫‪  . .  ‬‬ ‫‪ .‬השברון ה‪ q-‬הוא‪:‬‬ ‫נתונה פונ' התפלגות מצטברת‬
‫‪ .‬‬ ‫~ ‪:‬‬ ‫‪0,1‬‬ ‫•‬
‫‪ .‬‬ ‫~ ‪:‬‬ ‫‪,‬‬ ‫•‬
‫‪ ,‬ערכים לפי טבלת ההתפלגות ‪  .Z‬‬ ‫‪ ,‬כלומר‬ ‫~ ‪:‬‬ ‫‪0,1‬‬ ‫•‬

‫‪ .‬‬ ‫~ ‪:‬‬ ‫‪,‬‬ ‫•‬

‫משפט הגבול המרכזי לקירוב נורמלי‪:‬‬

‫משפט הגבול המרכזי )‪:(Central limit theorem‬‬
‫‪ ,‬כלומר‪:‬‬ ‫‪ ,‬אזי‪0,1 :‬‬ ‫ושונות‬ ‫מ"מ ממשיים )לאו דווקא רציפים(‪ ,‬ב"ת ושוו התפלגות בעלי תוחלת‬ ‫‪,…,‬‬ ‫יהיו‬
‫√‪/‬‬

‫‪.‬‬ ‫‪.‬‬
‫~ ‪ .‬דוגמאות‪:‬‬ ‫‪,‬‬ ‫או בקיצור‪:‬‬ ‫~‬ ‫עבור ‪ n‬גדול מספיק ניתן להגיד כי ‪0,1‬‬
‫√‪/‬‬

‫∑‪ .‬לפי משפט הגבול המרכזי נקבל את הקירובים‪  :‬‬ ‫~‬ ‫‪,‬‬ ‫~ ‪,‬‬ ‫•‬
‫∑‬ ‫‪.‬‬ ‫‪.‬‬
‫(‪.‬‬ ‫)כי‬ ‫‪,‬‬ ‫~‬ ‫‪,‬‬ ‫~ ומכאן שגם‬ ‫‪,‬‬
‫‪.‬‬
‫~ ‪ .‬‬ ‫‪,‬‬ ‫~ ‪:‬‬ ‫‪0,1‬‬ ‫•‬

‫מתי הקירוב הנורמלי מתאים‪:‬‬

‫חשוב‪  .‬‬ ‫לא משנה לאיכות הקירוב ואילו של‬ ‫הערך של‬ ‫•‬
‫‪ .‬‬ ‫‪1‬‬ ‫וגם תוחלת הכשלונות ‪10‬‬ ‫עבור בינומי מקובל להשתמש אם ‪10‬‬ ‫•‬
‫חסם תחתון לכלל ההתפלגויות הרציפות‪ ,‬אך אין כללי אצבע ברורים‪  .‬‬ ‫מקובל ‪30‬‬ ‫•‬
‫הערות‪:‬‬

‫)נובע מאי שוויון צ'בישב(‪  .‬‬ ‫חוק המספרים הגדולים‪0 :‬‬ ‫•‬

‫‪ ,‬אלא בדיוק כך‪  .‬‬ ‫‪,‬‬ ‫לא מתפלג בקירוב ‪ ‬‬ ‫‪,‬‬ ‫ממוצע של מ"מ המתפלגים‬ ‫•‬
‫‪  8 ‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫אריאל סטולרמן‬
‫‪ ‬‬
‫מבוא להסקה סטטיסטית‪:‬‬
‫מושגי יסוד באמידה‪:‬‬
‫אוכלוסיה‪ :‬אוסף סופי ‪ /‬אינסופי של פריטים בעלי תכונה ‪ /‬תכונות המעניינות אותנו‪  .‬‬ ‫•‬
‫התפלגות האוכלוסיה‪ :‬תיאור הסתברותי של הערך ‪ X‬של תכונה המעניינת אותנו בפרט מקרי באוכלוסייה‪ .‬למשל‪  :‬‬ ‫•‬
‫‪  .1‬‬ ‫~ ‪ ,‬יהיה ‪ 1‬בהסתברות ‪ p‬ו‪ 0-‬בהסתברות‬ ‫‪ X‬קטגוריאלי בעל שני ערכים )כמו מגדר(‪:‬‬ ‫‪o‬‬
‫~ ‪ :‬תיאור יכול להיות מדוייק רק עבור אוכ' אינסופית לא בת מניה‪ .‬לרוב יהווה קירוב מספק‪ .‬במקרה של‬ ‫‪,‬‬ ‫‪o‬‬
‫אוכלוסיה סופית‪ ,‬ההתפלגות האמיתית של ‪ X‬היא פשוט ההתפלגות האמפירית של האוכלוסיה‪  .‬‬
‫פרמטר‪ :‬תמצית של התכונה המעניינת אותנו באוכלוסיה‪ ,‬למשל תוחלת‪ .‬נסמן פרמטר המעניין אותנו באות המתאימה‪ ,‬או באופן גנרי‪  . :‬‬ ‫•‬
‫מדגם מקרי )‪ :(random sample‬בגודל ‪ n‬הוא אוסף ‪ n‬פרטים הנדגמים בסיכוי שווה עם החזרה מהאוכלוסיה‪ .‬המדגם הוא מ"מ מקרי ‪n‬‬ ‫•‬
‫‪ .‬‬ ‫‪,…,‬‬ ‫וערכיו הם גם וקטור ‪ n‬מימדי‪:‬‬ ‫‪,…,‬‬ ‫מימדי‪:‬‬
‫‪ .‬‬ ‫‪ ,‬והוא גם מ"מ‪ .‬את ערכו במדגם נסמן‬ ‫סטטיסטי )‪ :(statistic‬תמצית מספרית של המדגם‪ .‬נסמנו ב‪-‬‬ ‫•‬
‫אומד לפרמטר )‪ :(estimator‬סטטיסטי שמכוון להעריך את אורכו של הפרמטר באוכלוסיה‪ .‬למשל‪ :‬ממוצע המדגם המקרי כאומד ל‪  . -‬‬ ‫•‬

‫תכונות אומדים ואיכותם‪:‬‬

‫הטיה )‪ :(Bias‬עד כמה ה"מיקום" של האומד הוא נכון‪.‬‬
‫‪ ,‬כלומר‪ :‬תוחלת האומד לפרמטר היא הפרמטר עצמו‪ .‬אם האומד אינו חסר הטיה‪ ,‬נגדיר‬ ‫‪:‬‬ ‫אם‪:‬‬ ‫אומד ‪ S‬חסר הטיה לפרמטר‬
‫∑‬ ‫∑‬
‫אכן חסר הטיה‪.‬‬ ‫̂‬ ‫̂ ‪ ,‬האם ̂ חסר הטיה‪:‬‬ ‫‪ .‬דוגמא‪:‬‬ ‫את ההטיה שלו )‪ ,(Bias‬שהיא‪  :‬‬
‫הערה‪ :‬ניתן להשתמש גם במדדים אחרים למיקום לחישוב הטיה‪.‬‬
‫מדד פיזור‪:‬‬
‫‪.‬‬ ‫̂‬ ‫‪ .‬במקרה ברנולי‪:‬‬ ‫או ב‪-‬‬ ‫במדגם‪ .‬נהוג להשתמש ב‪-‬‬ ‫עד כמה ניתן "לסמוך" על הערך של‬
‫שילובים של הטיה ופיזור בקביעת איכות האומד‪:‬‬
‫המדד המקובל‪:‬‬
‫‪ .‬‬ ‫אם נשתמש באומד חסר הטיה נקבל כי‬ ‫•‬
‫‪ .‬‬ ‫אם האומד מוטה נקבל כי‬ ‫•‬
‫הערות‪:‬‬
‫‪ .‬לדוגמא‪ ,‬עבור מקרה‬ ‫‪:‬‬ ‫שימוש להשוואת אומדים‪ :‬יהיו ‪ S,T‬אומדים; נאמר כי ‪ S‬שולט על ‪ T‬אם‬ ‫•‬
‫∑‬
‫(‪  .‬‬ ‫הוא אומד לרוב מוטה אך עם ‪ MLE‬נמוך יותר )חסר הטיה ב‪-‬‬ ‫̂ ‪ ,‬אך אומד לפלס‪:‬‬ ‫ברנולי נהוג לאמוד את ‪ p‬ב‪-‬‬

‫‪ .‬‬ ‫‪,‬‬ ‫‪ 1‬מתקיים‪:‬‬ ‫כך שברמת ביטחון‬ ‫‪,‬‬ ‫רווחי סמך ברמת סמך )ביטחון( ‪ :‬ערכים‬ ‫•‬
‫למקרים נורמלי וברנולי‪:‬‬ ‫תכונה כללית של ממוצע המדגם‬
‫‪ -‬חסר הטייה‪  .‬‬ ‫•‬

‫‪ .‬‬ ‫•‬

‫‪.‬‬ ‫∑‬ ‫אומד חסר הטיה לשונות במקרה הנורמלי‪:‬‬

‫עקיבות‪:‬‬

‫‪ ,‬כלומר‪ :‬עם מספיק נתונים‪ ,‬האומד שלנו יהיה נכון‪  .‬‬ ‫אומד מוצע ל‪ . -‬עקיבות‪:‬‬ ‫יהי‬
‫הגדרת התכנסות בהסתברות‪:‬‬

‫כאומד ל‪ -‬הוא תמיד עקיב )בנוסף להיותו תמיד חסר הטיה(‪ .‬כמו‬ ‫‪ .‬למשל‪,‬‬ ‫|‬ ‫|‬ ‫‪0,‬‬ ‫אמ"מ‪:‬‬ ‫נאמר כי‬

‫~ ‪.‬‬ ‫‪0,‬‬ ‫הוא עומד עקיב במקרה האחיד של‬ ‫‪ ‬‬ ‫כן ̂ במקרה הבינומי‪ .‬דוגמא פחות טרוויאלית‪:‬‬
‫עקיבות אינה גוררת חוסר הטיה‪  .‬‬ ‫•‬
‫אך הוא לא עקיב‪  .‬‬ ‫‪.‬‬ ‫כמו כן חוסר הטיה אינה גוררת עקיבות‪ .‬למשל בהתפלגות נורמלית נקח את‬ ‫•‬
‫‪  9 ‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫אריאל סטולרמן‬
‫‪ ‬‬
‫גישות ליצירת אומדים‪:‬‬
‫פונקצית הנראות )‪:(Likelihood‬‬
‫מדגם מקרי‪ .‬אזי‪:‬‬ ‫‪,…,‬‬ ‫פונקצית צפיפות ‪ /‬הסתברות(‪ ,‬ו‪-‬‬ ‫במקרה הבדיד; נתייחס באופן כללי ל‪-‬‬ ‫)או‬ ‫~‬ ‫נניח‬
‫‪ .ℓ‬דוגמאות‪:‬‬ ‫;‬ ‫;‬ ‫‪ -‬היא פונקצית הנראות‪ .‬לרוב נשתמש בטרנס' ‪ log‬של הנראות‪:‬‬ ‫;‬ ‫·… ·‬

‫∑‬ ‫∑‬ ‫‪,‬‬ ‫‪1‬‬

‫‪  .ℓ‬‬ ‫∑‬ ‫·‬ ‫∑‬ ‫‪1‬‬ ‫‪,‬‬ ‫‪· 1‬‬ ‫‪ ,‬ולכן‪:‬‬ ‫ברנולי‪:‬‬ ‫•‬
‫‪1‬‬ ‫‪,‬‬ ‫‪0‬‬

‫‪ ℓ‬‬ ‫‪2‬‬ ‫∑‬ ‫‪,‬‬ ‫∏‬ ‫נורמלי עם שונות ידועה‪:‬‬ ‫•‬

‫( ותכונותיו‪:‬‬ ‫אומד נראות מקסימלי )‬

‫(‬ ‫;‬ ‫‪) ℓ‬או את‬ ‫;‬ ‫‪ .‬כדי למצוא אנ"מ נגזור את‬ ‫שיביא למקסימום את )לוג( פונקצית הנראות‪:‬‬ ‫הערך של‬

‫כפונקציה של ‪ ,‬ונשווה לאפס למציאת קיצון‪ ,‬וע"י נגזרת שניה נוודא שזהו אכן מקסימום )נגזרת שניה קטנה מאפס(‪ .‬דוגמאות‪:‬‬
‫∑‬
‫̂ ‪ .‬‬ ‫הוא‬ ‫בינומי‪ :‬מתברר שאכן ̂‬ ‫•‬
‫∑‬
‫̂ גם כן‪  .‬‬ ‫נורמלי )שונות ידועה(‪:‬‬ ‫•‬

‫‪,0‬‬ ‫‪,…,‬‬
‫‪ . , … ,‬זה יתקיים‬ ‫שיקיים‬ ‫‪ ,‬ולכן נרצה את הערך החוקי המינימלי של‬ ‫המקרה האחיד‪:‬‬ ‫•‬
‫‪0,‬‬ ‫‪/‬‬
‫‪ .‬‬ ‫‪ ‬‬ ‫‪ ,‬ולכן‬ ‫‪ ‬‬ ‫בודאות עבור‬
‫תכונות אנ"מ‪:‬‬

‫‪ .‬‬ ‫~ אז ‪0‬‬ ‫עקיבות‪ :‬אם‬ ‫•‬

‫כל מיני תכונות אופטימליות אסימפטוטית‪  .‬‬ ‫•‬

‫‪ .‬‬ ‫‪ .‬למשל בנורמלי‪:‬‬ ‫אינווריאנטיות פונקציונלית‪ :‬עבור ‪ g‬פונקציה אחד לאחד מתקיים‪:‬‬ ‫•‬

‫רווחי סמך‪:‬‬
‫רווחי סמך ומשמעותם‪:‬‬
‫כך ש‪:‬‬ ‫‪,‬‬ ‫‪ 1‬מוגדר ע"י הערכים ‪0‬‬ ‫‪ .‬רווח סמך ברמת סמך‬ ‫ואומד‬ ‫~ ‪ ,‬פרמטר‬ ‫נתון‬
‫‪,‬‬ ‫‪1‬‬ ‫‪,‬‬ ‫‪1‬‬ ‫‪ ‬‬
‫‪.(1‬‬ ‫‪ ,‬אז נאמר שיש לנו רמת סמך של ‪) 95%‬‬ ‫בד"כ ילקח ‪0.05‬‬

‫‪.‬‬ ‫·‬ ‫‪,‬‬ ‫·‬ ‫ונקבל‪:‬‬ ‫אומד ל‪ , -‬נדרוש‬ ‫דוגמא‪ :‬במקרה הנורמלי‪,‬‬
‫√‬ ‫√‬

‫משמעות רווח הסמך‪:‬‬

‫בודאות? ודאי שלא בודאות‪  .‬‬ ‫האם‬ ‫•‬
‫‪ ?1‬ודאי שכן‪ ,‬מהגדרה‪  .‬‬ ‫ברמת ביטחון של‬ ‫האם‬ ‫•‬
‫‪ 1‬או‬ ‫? לא‪ ,‬אך נוכל לבדוק האם הסיכוי גבוה מ‪-‬‬ ‫‪ 1‬ש‪-‬‬ ‫האם זה אומר שלכל מדגם מקרי עתידי בגודל ‪ n‬נקבל סיכוי של‬ ‫•‬

‫‪ .‬כעת נוכל לחשב‪:‬‬ ‫~‬ ‫‪0,‬‬ ‫הם מ"מ ב"ת‪ ,‬מכאן ש‪  :‬‬ ‫‪,‬‬ ‫~‬ ‫‪,‬‬ ‫‪ ,‬אזי‬ ‫‪,‬‬ ‫~‬ ‫‪,‬‬ ‫נמוך ממנו‪ :‬יהיו‬

‫√‬
‫‪ ,‬ונדע מה הסיכוי‪  .‬‬ ‫‪ 1‬של‬ ‫‪ .‬את התשובה לזה נשווה לרמת הסמך‬ ‫‪,‬‬ ‫‪2‬‬ ‫‪1‬‬
‫√‬ ‫√‬ ‫√‬ ‫√‬

‫רווח סמך לתוחלת נורמלית עם שונות לא ידועה‪:‬‬

‫‪ .‬במקרה זה נשתמש בהתפלגות ‪ t‬של סטודנט‪ ,‬ונקבל‪:‬‬ ‫∑‬ ‫עם טעות התקן ‪ ,‬כאשר‬ ‫נחליף את השימוש בסטיית התקן‬

‫‪.‬‬ ‫אז‬ ‫‪ .‬כאשר ∞‬ ‫‪,‬‬ ‫ב‪-‬‬ ‫דרגות חופש‪ .‬בחישוב רווח סמך עם שונות לא ידועה נחליף את‬ ‫‪ -‬כלומר עם ‪1‬‬ ‫~‬
‫√‪/‬‬
‫‪  10 ‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫אריאל סטולרמן‬
‫‪ ‬‬
‫רווחי סמך לפרמטר בינומי‪:‬‬
‫~ ‪ ,‬רוצים למצוא רווח סמך ל‪ p-‬כאשר נשתמש באומד ̂ ‪ .‬החישוב המדויק ארוך ומסורבל‪ ,‬לכן יש שתי גישות‪:‬‬

‫‪1‬‬ ‫משמעות‪ :‬ברמת ביטחון של בערך )בגלל הקירוב ושימוש באומד לשונות(‬ ‫̂‬ ‫̂ ‪,‬‬ ‫קירוב נורמלי‪:‬‬ ‫•‬

‫נצפה ש‪ p-‬יפול בר"ס‪  .‬‬

‫שימוש באומד השמרני‪ :‬פתרון לאי הדיוק הנובע משימוש באומד לשונות‪ :‬נחליף את השימוש ב‪ ̂ -‬תחת השורש במקסימום האפשרי שלו‪:‬‬ ‫•‬
‫‪  ...1‬‬ ‫משמעות‪ :‬ברמת ביטחון של לפחות‬ ‫‪̂ 1‬‬ ‫‪ . ̂ 1‬נקבל ר"ס דומה‪ ,‬רק שנציב ‪ 0.25‬במקום ̂‬ ‫̂‬ ‫‪0.25‬‬

‫אינווריאנטיות רווחי סמך תחת טרנס' מונוטונית‪:‬‬

‫‪.‬‬ ‫‪ 1‬עבור‬ ‫הוא ר"ס ברמת ביטחון‬ ‫‪ 1‬ו‪ f-‬היא פונ' מונוטונית‪ ,‬אזי‬ ‫ברמת ביטחון של‬ ‫הוא ר"ס עבור‬ ‫אם‬
‫נקח את הדוגמא הבודקת את אחוז הסטודנטים באוכ' שגובהם מתחת ל‪ 170-‬ס"מ‪ .‬בדרך הרגילה נשתמש בר"ס בינומי על סמך השיעור האמפירי‬
‫במדגם‪ ,‬אך אז אנו מתעלמים מהנתון שההתפלגות האמיתית של גובהי הסטודנטים היא נורמלית‪ ,‬ולכן נקבל ר"ס גדול יותר מאשר טרנס'‬
‫מונוטונית של ר"ס של גובהי הסטודנטים‪.‬‬

‫בדיקת השערות‪:‬‬
‫מושגי יסוד‪:‬‬
‫(‪ :‬ברירת המחדל‪ ,‬העובדה שאנו רוצים להפריך באמצעות הנתונים‪ ,‬וזאת רק אם נסיק בצורה ברורה שאינה נכונה‪  .‬‬ ‫השערת האפס )‬ ‫•‬
‫(‪ :‬ברור‪  .‬‬ ‫‪ / ‬‬ ‫אלטרנטיבה )‬ ‫•‬
‫‪ .‬המבחן‪ :‬אם‬ ‫כך ש‪-‬‬ ‫יהיה אזור הדחיה‬ ‫‪ .‬מבחן סטטיסטי ברמה‬ ‫‪:‬‬ ‫מבחן סטטיסטי ברמה ‪ :‬נניח‬ ‫•‬
‫‪ ,‬נדחה את השערת האפס‪ ,‬אחרת נקבלה‪ .‬קיימים הרבה איזורי דחיה )המייצגים אלטרנטיבות(‪ ,‬נבחר את האחד המייצג את‬
‫האלט' המעניינת אותנו‪ .‬הערה‪ :‬במקרה הרציף יהיה זה שוויון ממש‪  .‬‬
‫כיצד נבחר בין אזורי דחיה אפשריים‪:‬‬
‫‪:‬‬ ‫‪ ,‬נמצא את‬ ‫דוגמא במקרה הנורמלי‪ :‬ונניח אנו דוחים עבור ערכים גבוהים‪ ,‬אז‪, ∞ :‬‬

‫·‬ ‫‪ ‬‬
‫√‪/‬‬ ‫√‪/‬‬ ‫√‪/‬‬ ‫√‬
‫שנבחר כאלט'‪ .‬באופן דומה עבור אלט' של ערכים‬ ‫‪ ,‬אזור דחיה זה יהיה נכון לכל‬ ‫כיוון שלא משתמשים כלל בערך של האלט'‬
‫‪.‬‬ ‫והתפלגות‬ ‫‪ .‬במקרה שונות לא ידועה‪ :‬שימוש ב‪-‬‬ ‫או אלט' דו כיוונית – פשוט איחוד שני איזורי דחיה זרים‪ ,‬ושימוש ב‪-‬‬ ‫נמוכים מ‪-‬‬

‫)כאן‬ ‫‪ . :‬במקרה זה נשתמש בקירוב הנורמלי‪ ,‬אך כלל ההחלטה )גדול שווה ל‪ (10-‬ייבדק על‬ ‫‪,‬‬ ‫‪:‬‬ ‫דוגמא למקרה הבינומי‪:‬‬

‫‪.‬‬ ‫מתבטאת העובדה שאנו בודקים את ההסתברות ליפול באזור הדחיה תחת השערת האפס(‪ .‬למקרה זה נקבל‪, ∞ :‬‬

‫סוגי השערות‪:‬‬
‫‪ .‬‬ ‫‪:‬‬ ‫השערה פשוטה‪ :‬השערה הכוללת רק ערך אחד לפרמטר‪ ,‬למשל‪:‬‬ ‫•‬
‫‪ . :‬לא נעסוק בהשערות אפס מורכבות‪  .‬‬ ‫של ‪ ,‬למשל‪:‬‬ ‫השערה מורכבת‪ :‬השערה הכוללת אוסף ערכים‬ ‫•‬
‫היא דו‪-‬צדדית‪.‬‬ ‫‪:‬‬ ‫היא חד צדדית‪ ,‬ואילו מהצורה‬ ‫‪:‬‬ ‫אלטרנטיבה מהצורה‬

‫רמת מובהקות‪ ,‬סוגי טעויות ועוצמה‪:‬‬

‫רמת מובהקות של תוצאה )‪:(p­value‬‬
‫כך ש‪-‬‬ ‫‪ ,‬נרצה למצוא את הרמה המינימלית‬ ‫ותוצאה‬ ‫אומד‪ .‬בהינתן מדגם מקרי‬ ‫‪, :‬‬ ‫‪,‬‬ ‫‪:‬‬ ‫נניח‬
‫‪ -‬כלומר‪ :‬מה הסיכוי לקבל את התוצאה שקיבלנו או קיצונית ממנה‪.‬‬
‫‪ .‬נשים לב כי נוסחה זו נובעת מכך ש‪-‬‬ ‫בכל רמה שגדולה או שווה ל‪-‬‬ ‫‪ ,‬ונדחה את‬ ‫‪1‬‬ ‫במקרה הנורמלי‪ ,‬שונות ידועה‪:‬‬
‫√‪/‬‬

‫שלנו‪.‬‬ ‫‪ ,‬כאשר הוא ה‪-‬‬ ‫·‬

‫√‬

‫משמעות ‪:p­value‬‬
‫הסיכוי לדחות את השערת האפס גדל‪ .‬אם נשנה משהו בנתונים‪ ,‬למשל נגדיל את השונות‪ ,‬נקבל בהכרח‬ ‫אזור דחיה גדול יותר‬ ‫ערכים נמוכים‬
‫כלשהי‪.‬‬ ‫‪ p­value‬גדול יותר‪ ,‬שמשמעו – פחות סיכוי לדחות את השערת האפס‪ .‬לא להתבלבל‪ :‬דחיית השערת האפס היא עבור רמת ביטחון‬
‫‪  11 ‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫אריאל סטולרמן‬
‫‪ ‬‬
‫גדול יותר‪ .‬אינטואיטיבית‪:‬‬ ‫נקבל‬ ‫‪ ,‬אם נשנה את ‪144‬‬ ‫‪16 ,‬‬ ‫‪175,‬‬ ‫‪:‬‬ ‫‪170,‬‬ ‫‪:‬‬ ‫בדוגמת גבהי סטודנטים‪170 ,‬‬
‫כשהשונות גדלה‪ ,‬פחות מפתיע אותנו לקבל במרחק ‪ 5‬ס"מ מהתוחלת מאשר קודם‪ ,‬לכן פחות סביר לדחות את השערת האפס‪.‬‬
‫סוגי טעויות ועוצמת מבחן‪:‬‬
‫‪.‬‬ ‫ואזור דחיה‬ ‫‪ ,‬רמה‬ ‫‪ ,‬סטטיסטי‬ ‫‪:‬‬ ‫‪,‬‬ ‫‪:‬‬
‫וזה שווה ל‪  . -‬‬ ‫תחת‬ ‫כשהיא נכונה‪ .‬זהו הסיכוי ש‪-‬‬ ‫טעות מסוג ראשון‪ :‬הסיכוי לדחות את‬ ‫•‬
‫‪ .‬‬ ‫כשהאלטרנטיבה נכונה‪:‬‬ ‫טעות מסוג שני‪ :‬הסיכוי שלא נדחה את‬ ‫•‬
‫‪ .‬‬ ‫‪1‬‬ ‫כשהאלטרנטיבה נכונה‪:‬‬ ‫עוצמת מבחן‪ :‬הסיכוי שכן נדחה את‬ ‫•‬

‫בחירת אזורי דחיה והלמה של ניימן‪-‬פירסון‪:‬‬

‫הלמה של ניימן‪-‬פירסון )‪:(NP‬‬
‫מבחן ברמת בעל עוצמה מקסימלית‪:‬‬
‫‪ .‬נגדיר יחס נראות‪:‬‬ ‫מתקיים‪:‬‬ ‫ברמה‬ ‫כך שלכל איזור דחיה אחר‬ ‫‪ ( ,‬הוא איזור דחיה‬ ‫להשערות פשוטות )‬
‫;‬
‫‪ ‬‬
‫;‬
‫הלמה של ניימן‪-‬פירסון‪:‬‬
‫‪ ,‬כלומר‪:‬‬ ‫הוא הערך הקריטי של‬ ‫‪ ,‬כאשר‬ ‫‪ | ‬‬ ‫מבחן בעל עוצמה מקסימלית להשערות הפשוטות לעיל מוגדר ע"י‪:‬‬
‫במונה‪ ,‬לכן אמרנו שנדחה תמיד עבור ערכים‬ ‫‪ .‬תמיד נדחה לערכים נמוכים של יחס הנראות )בתרגול היחס הוגדר הפוך‪ ,‬כלומר‬
‫(‪.‬‬ ‫גבוהים של‬
‫אמ"מ‬ ‫‪ .‬לכן נדחה את‬ ‫‪ | ‬‬ ‫הוא פונקציה יורדת של ‪ .‬נקבל‪:‬‬ ‫‪ ,‬נקבל ש‪-‬‬ ‫‪:‬‬ ‫‪,‬‬ ‫‪:‬‬ ‫במקרה הנורמלי‪:‬‬
‫‪.‬‬ ‫·‬
‫√‬

‫הוכחת הלמה‪ :‬לא יכלל בסיכום‪.‬‬

‫מבחנים בעלי עוצמה מקסימלית לפי ‪:NP‬‬

‫‪.‬‬ ‫‪ | ‬‬ ‫·‬ ‫‪:‬‬ ‫‪:‬‬ ‫נורמלי עם שונות ידועה‪ :‬כמתואר לעיל; עבור‬
‫√‬

‫ו‪. -‬‬ ‫נורמלי עם שונות לא ידועה‪ :‬אותו דבר רק עם התפלגות‬

‫∑‬
‫̂ הוא הסטטיסטי למבחן יחס‬ ‫)גם כאן‬ ‫̂ ‪ | ‬‬ ‫‪ ,‬נקבל כי מבחן ‪ NP‬הוא מהצורה‪:‬‬ ‫‪:‬‬ ‫‪,‬‬ ‫‪:‬‬ ‫ברנולי‪/‬בינומי‪:‬‬

‫‪.‬‬ ‫̂ ‪ | ‬‬ ‫·‬ ‫נראות מקסימלי(‪ .‬נשתמש בקירוב הנורמלי כדי לקבל מבחן עוצמה מקסימלית ברמה בקירוב ‪:‬‬

‫‪.‬‬ ‫‪ | ‬‬ ‫‪ ,‬נקבל כי מבחן ‪ NP‬יהיה ‪ x‬עצמו‪:‬‬ ‫‪:‬‬ ‫‪,‬‬ ‫‪:‬‬ ‫פואסון‪:‬‬

‫הכללת ‪ – NP‬מבחנים בעלי עוצמה מקסימלית במידה שווה )‪  :(UMP‬‬

‫בעל עוצמה מקסימלית במידה שווה אם‪:‬‬ ‫מגדיר מבחן ברמה‬ ‫‪ ,‬נאמר כי אזור דחיה‬ ‫‪:‬‬ ‫ואלטרנטיבה מורכבת‪:‬‬ ‫‪:‬‬ ‫עבור‬
‫‪ ‬‬ ‫•‬
‫‪ .‬‬ ‫‪:‬‬ ‫‪:‬‬ ‫מגדיר מבחן עוצמה מקסימלית לכל אלטרנטיבה פשוטה‪:‬‬ ‫•‬
‫‪ ,‬ולכן נותן ‪.UMP‬‬ ‫‪ | ‬‬ ‫במקרה הנורמלי‪ ,‬שונות ידועה‪ :‬אזור הדחיה שקיבלנו לא היה תלוי כלל ב‪ , -‬כלומר התקיים לכל‬
‫כנ"ל שאר הדוגמאות )נורמלי עם שונות לא ידועה‪ ,‬בינומי‪/‬ברנולי‪ ,‬פואסון( נותנות ‪.UMP‬‬
‫במקרה הדו‪-‬צדדי‪ :‬אלט' מורכבת דו צדדית אינה ‪ UMP‬מכיוון שמבחן ‪ NP‬תלוי בכיוון האלט'‪.‬‬

‫הסקה סטטיסית בבעיות רגרסיה‪:‬‬

‫‪ ,‬מגדירים פונקצית ‪ (RSS) f‬שהיא סכום ריבועי ההפרשים‪:‬‬ ‫‪ ,‬מעריכים מודל‪:‬‬ ‫‪,‬‬ ‫‪,…,‬‬ ‫‪,‬‬ ‫ריבועים פחותים‪ :‬נתונות תצפיות‬
‫‪ ,‬ורוצים את הערכים של ‪ a,b‬שיביאו את ‪ f‬למינימום‪ .‬נסתכל על ‪ a,b‬כפרמטרים שרוצים למדוד‪ ,‬והאומדים שלהם‬ ‫‪,‬‬ ‫∑‬
‫‪ .‬נעשה הסקה סטטיסטית על התפלגות מותנה‪:‬‬ ‫‪,‬‬ ‫הם‬
‫~ )הרעש(‪.‬‬ ‫‪0,‬‬ ‫| ‪ ,‬כאשר‬ ‫לא ידוע‪ .‬נתאר זאת כך‪:‬‬ ‫| ‪ ,‬כאשר‬ ‫~‬ ‫‪,‬‬ ‫נניח‬
‫‪  12 ‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫אריאל סטולרמן‬
‫‪ ‬‬
‫; ‪ .ℓ ,‬במקרה זה חישבנו יחס נראות לפי‬ ‫‪,‬‬ ‫‪,…,‬‬ ‫‪,‬‬ ‫‪,‬‬ ‫‪log 2‬‬ ‫‪,‬‬ ‫נאמוד את ‪ a,b‬לפי נראות מקסימלית‪ ,‬ונקבל‪:‬‬
‫‪ -‬כמו שקיבלנו בעבר‪.‬‬ ‫‪,‬‬ ‫עם סימן שלילי‪ ,‬זה שקול לערכים נמוכים של‬ ‫‪,‬‬ ‫במונה‪ ,‬ולכן אנו רוצים ערכים גבוהים של היחס – כיוון ש‪-‬‬
‫‪ ,‬הם אנ"מ ל‪ . , -‬וכפי שקיבלנו בעבר‪:‬‬ ‫‪,‬‬ ‫מכאן ש‪:‬‬
‫‪,‬‬

‫∑‬
‫‪,‬‬ ‫‪ ‬‬
‫∑‬
‫)כלומר הקו הוא קבוע ללא שיפוע‪ ,‬ונזכר שזה אומר ש‪ , -‬אחוז השונות‬ ‫‪:‬‬ ‫~ ‪ .‬ההשערות שנבדוק‪0 :‬‬ ‫‪0,‬‬ ‫‪,‬‬ ‫מודל ‪: ‬‬
‫‪.‬‬ ‫‪:‬‬ ‫המוסבר‪ ,‬הוא ‪ ,(0‬והאלטרנטיבה‪0 :‬‬

‫~ ‪.‬‬ ‫∑‪,‬‬ ‫‪ ,‬כלומר הוא אומד חסר הטיה ל‪ .b-‬לבסוף נקבל‪:‬‬ ‫‪ , :‬מקבלים כי‬ ‫כיוון שע"פ המודל ‪0‬‬

‫כיוון שיש לנו ‪ 2‬פרמטרים שאומדים במקרה זה(‪ ,‬ולכן‬ ‫)‪2‬‬ ‫∑‬ ‫‪ ,‬ואומד חסר הטיה ל‪: -‬‬ ‫~ ‪:‬‬ ‫∑ ‪0,‬‬ ‫מכאן ש‪:‬‬
‫∑ ‪/‬‬ ‫∑ ‪/‬‬
‫‪.‬‬ ‫‪∞,‬‬ ‫‪,‬‬ ‫·‬ ‫‪,‬‬ ‫·‬ ‫נקבל את אזור הדחיה‪, ∞ :‬‬
‫√‬ ‫√‬

‫מבחנים לקשר בין ‪ 2‬התפלגויות ‪ /‬מ"מ‪:‬‬

‫‪ .‬לדוגמא במקרה הנורמלי‪:‬‬ ‫‪:‬‬ ‫נניח ~ ‪ , ~ ,‬ל‪ F-‬פרמטר)ים( ‪ ,‬ל‪ G-‬פרמטר)ים( ‪ ,‬בד"כ‬
‫‪,‬‬ ‫‪,…,‬‬ ‫)יכולה להיות כל אלט' אחרת(‪ .‬נתונים מדגמים‬ ‫‪:‬‬ ‫‪,‬‬ ‫‪:‬‬ ‫~ ‪ ,‬ניקח אומדים לתוחלת‪,‬‬ ‫‪,‬‬ ‫~ ‪,‬‬ ‫‪,‬‬
‫‪.‬‬ ‫‪,…,‬‬
‫אם ‪ ,‬בלתי תלויים‪ ,‬נערוך מבחן לא מזווג של שני המדגמים‪  .‬‬ ‫•‬
‫‪ ,‬הן תצפיות על אותו אובייקט )כלומר ישנה תלות אך ורק בין‬ ‫‪,‬‬ ‫אם ישנה תלות‪ ,‬נערוך מבחן מזווג‪ ,‬כאשר המקרה המעניין הוא‬ ‫•‬
‫ל‪ , -‬וכל שאר היחסים הם בלתי תלויים‪  .‬‬

‫מבחנים לא מזווגים לשני מדגמים‪:‬‬

‫‪. :‬‬ ‫~‬ ‫‪,‬‬ ‫~ ‪ ,‬נקח את ההפרש ביניהם שגם הוא מ"מ‪:‬‬ ‫‪,‬‬ ‫~ ‪,‬‬ ‫‪,‬‬

‫כמו במקרה הנורמלי הרגיל‪.‬‬ ‫‪ .‬קיים מבחן‬ ‫‪:‬‬ ‫‪ ,‬והאלטרנטיבה היא ‪0‬‬ ‫‪:‬‬ ‫נקבל כי ‪0‬‬

‫‪,  | ‬‬ ‫·‬ ‫)א( שונויות ידועות‪:‬‬

‫)ב( שונויות לא ידועות‪:‬‬
‫משני המדגמים יחד )בגלל שוויון‬ ‫‪ .‬נעריך את‬ ‫‪:‬‬ ‫‪:‬‬ ‫השונויות לא ידועות אך ידוע שהן שוות‪ ,‬נסמן‬ ‫•‬

‫∑‬ ‫∑‬
‫ד"ח‪  :‬‬ ‫‪ ,‬ונערוך מבחן ‪ t‬עם ‪2‬‬ ‫השונויות( לקבלת אומד‪:‬‬

‫‪,  | ‬‬ ‫‪,‬‬ ‫·‬ ‫‪ ‬‬

‫‪ ,‬ונקבל‪  :‬‬ ‫‪ .‬דרגות החופש יחושבו לפי תיקון ‪:Welch‐SatterWiate‬‬ ‫לא מניחים שוויון שונויות‪:‬‬ ‫•‬

‫‪,  | ‬‬ ‫‪,‬‬ ‫·‬ ‫‪ ‬‬

‫הסקה במדגמים מזווגים‪:‬‬

‫~ ‪ .‬נקבל את אותו ניסוח‬ ‫‪,‬‬ ‫‪ ,‬ונקבל כי‬ ‫אינם בלתי תלויים )ישנה אי תלות בין כל שאר הזיווגים(‪ .‬נסמן‬ ‫‪,‬‬ ‫‪,‬‬
‫(‪.‬‬ ‫‪2‬‬ ‫‪,‬‬ ‫)‬ ‫‪ .‬נשים לב שמהתלות מתקיים‪:‬‬ ‫‪:‬‬ ‫‪0,‬‬ ‫‪:‬‬ ‫השערות כמו קודם‪0 :‬‬

‫‪,  | ‬‬ ‫·‬ ‫יהיה‪:‬‬ ‫)א( שונות ידועה‪:‬‬

‫∑‬
‫‪,  | ‬‬ ‫‪,‬‬ ‫·‬ ‫‪ ,‬ומכאן‪:‬‬ ‫)ב( שונות לא ידועה‪:‬‬
‫‪  13 ‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫אריאל סטולרמן‬
‫‪ ‬‬
‫נסכם את המקרים השונים‪:‬‬
‫לא מזווגים‬ ‫מזווגים‬
‫נכון‬ ‫אך מפסידים עוצמה )פחות‬ ‫נכון‪ :‬עדיין מקבלים מבחן ברמה‬ ‫ב"ת‬ ‫‪,‬‬
‫דרגות חופש בזיווג(‬
‫לא נכון‪ :‬רמת המבחן אינה ‪ ,‬עוצמת המבחן קטנה כיוון ש‪:‬‬ ‫נכון‬ ‫תלויים‬ ‫‪,‬‬
‫(‪.‬‬ ‫‪,‬‬ ‫)כי ‪0‬‬

‫‪ ‬‬ ‫הסקה על קשרים בין התפלגויות בדידות קטגוריאליות‪:‬‬

‫בלתי תלויים‬ ‫המקרה הבינומי )לא מזווג(‪ :‬כל ה‪-‬‬
‫)בה"כ(‪ n ,‬תצפיות ‪ m ,X‬תצפיות ‪ .Y‬לפי הקירוב הנורמלי‪:‬‬ ‫‪:‬‬ ‫‪,‬‬ ‫‪:‬‬ ‫~ ‪,‬‬ ‫~ ‪,‬‬
‫‪.‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪.‬‬ ‫‪1‬‬ ‫‪1‬‬
‫~‬ ‫‪,‬‬ ‫‪: ‬‬ ‫‪: ,‬‬ ‫~‬ ‫‪0,‬‬ ‫‪ ‬‬

‫אינה ידועה‪ ,‬ולכן נאמוד אותה‪:‬‬ ‫במקרה זה השונות תחת‬

‫‪ .‬‬ ‫‪̂ 1‬‬ ‫̂ ולכן ̂‬ ‫אומד הרפתקני‪:‬‬ ‫•‬

‫‪ .‬‬ ‫̂ ולכן ·‬ ‫אומד שמרני‪0.5 :‬‬ ‫•‬

‫‪,  | ‬‬ ‫·‬ ‫מכאן שאזור הדחיה יהיה‪:‬‬

‫במידה ומספר ההצלחות הכולל ידוע מראש‪:‬‬
‫‪ ,‬מספר‬ ‫‪ -‬גודל המדגם הוא‬ ‫~‬ ‫‪,‬‬ ‫‪,‬‬ ‫‪:‬‬ ‫‪ .‬נקבל כי תחת‬ ‫נסמן את מספר ההצלחות הכולל לשני המ"מ יחד כ‪-‬‬
‫‪ ,‬ואנו לוקחים מדגם של ‪) n‬המדגם ‪ X‬לצורך העניין‪ ,‬כי ההצלחות שלו מעניינות אותנו(‪.‬‬ ‫ההצלחות )ה"אכולוסיה המיוחדת"( הוא‬
‫במקרה זה נוכל להסיק לגבי נכונות השערת האפס בשלושה דרכים‪:‬‬
‫הסקה מדוייקת בעזרת ‪) HG‬מבחן ‪  .(Fisher exact test‬‬ ‫•‬
‫‪.‬‬
‫· ‪ .‬‬ ‫~‬ ‫‪,‬‬ ‫קירוב נורמלי‪:‬‬ ‫•‬

‫לטבלאות‪  .‬‬ ‫מבחן‬ ‫•‬

‫התפלגות חי בריבוע ) (‪:‬‬

‫הגדרה‪:‬‬
‫∑‪ ,‬כאשר ‪ k‬הוא מס' דרגות החופש‪.‬‬ ‫~‬ ‫~ ‪ ,‬אזי‪:‬‬ ‫מ"מ בלתי תלויים מהתפלגות נורמלית סטנדרטית‪0,1 ,‬‬ ‫‪,…,‬‬ ‫יהיו‬
‫‪.‬‬ ‫~‬ ‫~ ‪ , ~ ,‬אזי‪:‬‬ ‫אם‬
‫נתון מדגם בגודל ‪ N‬עם שני ערכים של משתנים בדידים‪ U :‬עם ‪ k‬ערכים אפשריים‪ Z ,‬עם ‪ l‬ערכים אפשריים‪ .‬נרצה לבדוק אי תלות‪:‬‬
‫‪:‬‬ ‫‪ .‬נסכם את הנתונים בטבלת ‪ observed‬בגודל‬ ‫‪: ,‬‬ ‫בלתי‪ ‬תלויים‬
‫ע"י בניית טבלה שניה‪,‬‬ ‫‪,…,‬‬ ‫‪,‬‬ ‫‪,…,‬‬ ‫נתנה על הערכים השוליים‬ ‫…‬ ‫סה"כ‬
‫‪.‬‬ ‫·‬ ‫·‬ ‫טבלת ה‪ ,expected-‬מגודל זהה שערכיה יהיו‬
‫טענה‪:‬‬
‫אם כל התאים בטבלת ה‪) expected-‬וה‪ (?observed-‬מכילים לפחות ‪ 5‬תצפיות‬ ‫…‬ ‫…‬ ‫…‬
‫)אלטרנטיבה דו‪-‬צדדית(‪:‬‬ ‫אזי תחת‬ ‫‪… ‬‬
‫סה"כ‬
‫‪.‬‬
‫~‬

‫‪:‬‬ ‫רגרסיה מול‬

‫‪ ,‬תהיה לעשות דיסקרטיזציה של הנתונים‪ ,‬למשל ל‪}-‬נמוך‪ ,‬בינוני‪ ,‬גבוה{‪ ,‬לעשות טבלה מתאימה )‪ 3‬שורות ו‪3-‬‬ ‫גישה אחרת לבדיקת תלות בין‬
‫‪ 3‬דרגות חופש‪ .‬הרווח‪ :‬בודקים אי תלות כלשהי‪ ,‬לאו דווקא לינארית; ההפסד‪ :‬הסדר‬ ‫‪1 3‬‬ ‫‪1‬‬ ‫לאי‪-‬תלות עם ‪4‬‬ ‫עמודות(‪ ,‬ולערוך מבחן‬
‫בין הקטגוריות‪ .‬לכן גם מרוויחים עוצמה וגם מפסידים עוצמה למבחן‪.‬‬
‫‪ ‬‬
‫‪  14 ‬‬ ‫‪ ‬‬ ‫‪ ‬‬ ‫אריאל סטולרמן‬
‫‪ ‬‬
‫של פירסון לאיכות התאמה‪:‬‬ ‫מבחן‬
‫מדגם מקרי‬ ‫‪ .‬יהי‬ ‫‪ ,‬ו‪: ~ -‬‬ ‫התפלגות מולטינומית נתונה על‬ ‫‪,…,‬‬ ‫‪ ,‬תהי‬ ‫‪,…,‬‬ ‫יהי ‪ X‬מ"מ בדיד המקבל ערכים מ‪-‬‬
‫∑‪ .‬ניתן להסתכל על זה בתור טבלה עם שורה אחת‪:‬‬ ‫‪ ,‬כאשר‬ ‫תצפיות מסוג‬ ‫‪,...,‬‬ ‫תצפיות מסוג‬ ‫בגודל ‪ n‬בו רואים‪:‬‬
‫‪:‬‬ ‫אם כל תא בטבלת ה‪ exp-‬יכיל ‪ 5‬תצפיות ומעלה‪ ,‬אזי תחת‬ ‫‪:observed‬‬
‫‪   ‬‬ ‫…‪ ‬‬ ‫סה"כ‬
‫‪.‬‬
‫~‬ ‫‪ ‬‬ ‫‪n‬‬
‫‪:expected‬‬
‫‪. 1‬‬ ‫‪1‬‬ ‫הערה‪ :‬כיוון שאין סכומי עמודות להתנות עליהם‪ ,‬לא נכפיל את דרגות החופש ב‪0-‬‬
‫‪      ‬‬ ‫…‪   ‬‬ ‫סה"כ‬

‫‪n‬‬
‫‪ ‬‬
‫נושאים נוספים‪:‬‬
‫השוואות מרובות‪ :‬לא נכלל בסיכום‪.‬‬
‫מבחנים סטטיסטיים לא פרמטריים‪ :‬לא נכלל בסיכום‪.‬‬
‫אמידה בייסיאנית‪:‬‬
‫‪ -‬ה"אמונה"‬ ‫את ההתפלגות המקדימה )אפריורית( של‬ ‫אותו אומדים הוא לא מספר אלא מ"מ‪ .‬נסמן ב‪-‬‬ ‫לפי הגישה הבייסיאנית‪ ,‬הפרמטר‬
‫שלנו לגבי הפרמטר לפני שראינו את הנתונים‪ .‬עם קבלת הנתונים נעדכן את ההתפלגות להתפלגות האפוסטריורית‪ .‬עדכון ההתפלגות בהינתן ‪:‬‬
‫‪,‬‬ ‫|‬ ‫·‬
‫‪ | ‬‬ ‫|‬ ‫·‬ ‫‪ ‬‬

‫והחישובים מסובכים‪.‬‬ ‫ישירות‪ .‬מצד שני‪ ,‬לא תמיד יהיה לנו ידע על‬ ‫יהיה רווחי בגישה זו‪ .‬כמו כן ניתן להסיק על‬ ‫אם יש לנו ידע טוב על ‪,‬‬
‫דוגמא למקרה הנורמלי‪ ,‬שונות ידועה‪:‬‬
‫~ )נצפה שהתוחלת תהיה קרובה ל‪ ,(0-‬נחשב ונקבל‪:‬‬ ‫‪0,‬‬ ‫‪ , | ~ ,‬מדגם בגודל ‪ ,n‬ומעריכים את ‪ .‬לפי אמידה בייסיאנית‪ :‬נניח‬
‫·‬
‫~ |‬ ‫‪· ,‬‬ ‫‪ ‬‬