‫תאריך עדכון‪__________ :‬‬

‫שם ומספר הקורס‪:‬‬

‫רשתות נוירונים‪27-436 :‬‬
‫שם המרצה‪ :‬גל צ'צ'יק‬
‫סוג הקורס‪ :‬שיעור ‪ +‬תרגיל‬
‫היקף שעות‪2 + 2 :‬‬ ‫א'‬ ‫סמסטר‪:‬‬ ‫שנת לימודים‪ :‬תשפ"א‬
‫אתר הקורס באינטרנט‪:‬‬

‫א‪ .‬מטרות הקורס ותוצרי למידה (מטרות על ‪ /‬מטרות ספציפיות)‪:‬‬

‫מטרות הקורס‪:‬‬
‫קבלת ידע תאורתי ומעשי בדינמיקה ובלמידה של רשתות נוירונים מלאכותיות‪.‬‬

‫תוצרי למידה‪:‬‬
‫הבנת מושגים בלמידה חישובית‪ :‬הכללה‪ ,‬למידה מונחית‪ ,‬עצמית‪ ,‬ולא מונחית‬ ‫‪‬‬
‫הבנת הדמיון והשוני בין תאי עצב ליחידות חישוב ברשתות עמוקות‬ ‫‪‬‬
‫הבנת מושג המסווג הלינארי והקשר שלו לנוירונים בינאריים בעלי סף ברשת‬ ‫‪‬‬
‫הבנת אלגוריתמי ‪ ,Descent Gradient‬ואלגוריתמי ‪Propagation Back‬‬ ‫‪‬‬
‫הכרת ארכיטקטורות של רשתות עמוקות‪ ,‬כולל רשתות קונבולוציה לראייה‬ ‫‪‬‬
‫ממוחשבת‪ ,‬ו ‪recurrent networks‬‬
‫הבנת מגבלותיהן ויתרונותיהן של רשתות עמוקות‪ :‬התפוצצות מימדים‪,‬‬ ‫‪‬‬
‫התאמת יתר וחסר‪ ,‬שיתוף פרמטרים‪ ,‬הילכדות במינימום לוקלי ועוד‪ .‬הבנה‬
‫ויישום של תרופות שונות לבעיות אלו‬
‫יכולת ליישם אלגורתמי למידה עמוקה בשפת פייתון‪.‬‬ ‫‪‬‬

‫ב‪ .‬תוכן הקורס‪:‬‬

‫רציונל‪ ,‬נושאים‪:‬‬
‫הקורס עוסק בלמידת מכונה ויישומיה ברשתות נוירונים מלאכותיות‪ .‬הנושאים‬
‫המרכזיים הם‪:‬‬

‫למידה מונחית‪ ,‬עצמית ובלתי מונחית‬ ‫‪‬‬

‫הכללה ורגולריזציה‬ ‫‪‬‬
‫מפרידים לינארים והקשר שלהם ליחידות לינאריות עם סף‪,‬‬ ‫‪‬‬
‫רשתות לא לינאריות עמוקות‬ ‫‪‬‬
‫מושג ה ‪ margin‬וחשיבותו להכללה‬ ‫‪‬‬

‫‪1‬‬
 ‫‪ ‬בעיות שונות ביישום למידה ברשתות נוירונים וכיצד‬
‫מתמודדים איתן‬
‫‪ ‬ארכיטקטורות עמוקות‪ConvNets, LSTM, RNN, :‬‬
‫‪Auto-Encoders‬‬

‫מהלך השיעורים‪ :‬הרצאות ותרגולים‪ .‬חלק מהחומר ינתן בקטעי וידאו‪.‬‬

‫תכנית הוראה מפורטת לכל השיעורים‪ :‬רשימת נושאים ‪ /‬תוכנית הלימודים‬

‫בקורס –רשימה מפורטת של נושאי ההרצאות בסדר כרונולוגי (רשימה או‬
‫טבלה כדוגמת המצ"ב)‬

‫הערות‬ ‫קריאה נדרשת‬ ‫נושא השיעור‬ ‫מס'‬

‫השיעור‬
‫מבוא‪ ,‬מוטיבציה‪ ,‬הגדרות ראשונות‪,‬‬ ‫‪1‬‬
‫למידת מכונה‪ ,‬הכללה‬
‫מפרידים לינאריים ואלגוריתם‬ ‫‪2‬‬
‫הפרספטרון‬
‫‪Gradient descent, Supervised‬‬ ‫‪3‬‬
‫‪learning‬‬
‫‪Logistic regression‬‬ ‫‪4‬‬
‫‪Non-linear classification, MLP‬‬ ‫‪5‬‬
‫‪Generalization and overfitting in‬‬ ‫‪6‬‬
‫‪deep networks‬‬
‫‪Convolutional Neural networks‬‬ ‫‪7‬‬
‫‪Unsupervised learning, PCA‬‬ ‫‪8‬‬
‫‪Unsupervised learning,‬‬ ‫‪9‬‬
‫‪Autoencoders‬‬
‫‪Self-supervised learning‬‬ ‫‪10‬‬
‫‪Graph-convolution networks‬‬ ‫‪11‬‬
‫‪RNNs and LSTMS‬‬ ‫‪12‬‬
‫‪Summary: Brain networks vs‬‬ ‫‪13‬‬
‫‪deep networks‬‬

‫ג‪ .‬דרישות קדם‪:‬‬

‫אלגברה ליניארית‪ ,‬חדו"א‪ ,‬קורס תכנות בשפה עילית‪.‬‬
‫התרגילים בקורס ינתנו בשפת פייתון‪ .‬מומלץ לתלמידים לתרגל פייתון לפני‬
‫הקורס‪.‬‬

‫‪2‬‬
 ‫ד‪ .‬חובות ‪ /‬דרישות ‪ /‬מטלות‪:‬‬
‫הגשת כל תרגילי הבית‪ .‬אין חובת נוכחות‪.‬‬

‫ה‪ .‬מרכיבי הציון הסופי‪:‬‬

‫תרגילי בית (תאורטיים ותכנותיים) ‪.30%‬‬
‫כדי לקבל ציון עובר בקורס יש להגיש את כל תרגילי הבית‪.‬‬
‫מבחן סופי ‪.70%‬‬

‫ו‪ .‬ביבליוגרפיה‪:‬‬
‫‪C.Bishop: Pattern recognition and machine learning, Springer‬‬
‫‪2007‬‬
‫‪I.Goodfellow, Y.Bengio, A.Courville: Deeplearning, MIT, 2016,‬‬
‫‪online book‬‬

‫ז‪ .‬שם הקורס באנגלית‪:‬‬

‫‪Neural networks‬‬

‫‪3‬‬