‫כדי להעביר את תכונות הנוירון הביולוגי לנוירון מלאכותי – ממוחשב‪ ,‬מתבצעת הפשטה של מונח הנוירון‪,‬‬

‫ולא ממומשים במלואם כל המנגנונים הביולוגים לפרטיהם‪.‬‬

‫הנוירון הממוחשב הוא יחידת עיבוד פשוטה‪ ,‬המקבלת קלט‪ ,‬מבצעת עיבוד ומספקת פלט‪.‬‬

‫הקלט הוא מערך של פלטים של נוירונים אחרים‪ .‬הפלט הוא אות בינארי בעוצמה קבועה‪.‬‬

‫עוצמת הקשר בין פלט כלשהו לבין נקודת קלט הינה בעלת "משקל"‪ ,‬ומתארת את מידת השפעת תוצאת‬
‫החישוב של נוירון אחד על נוירון אחר המקבל קלט ממנו‪.‬‬

‫על מנת להפעיל את רשת הנוירונים‪ ,‬יש להגדיר את המשקולות בקשרים בין כל‬

‫נוירון לשכנו‪.‬‬

‫נשים לב כי ברשת מלאכותית‪ ,‬בשונה מהמוח‪ ,‬ניתן לחבר כל נוירון לשכנו‪,‬כאשר משקל "‪ "0‬בקשר ביניהם‬
‫יהווה בפועל נתק‪.‬‬

‫המודל הפשוט ("המנוון")‪ ,‬מדבר על‬

‫נוירון כמבצע פעולת סכימה פשוטה‪ ,‬המייצר קלט על פי נקודת סף (‪ )threshold‬מוגדרת‪.‬‬

‫את הרשת מאמנים על ידי עדכון המשקולות ‪ wi.‬הרשת מוזנת בווקטור כניסה מסוים ונבחן מוצאה‪ .‬בהתאם למוצא‬
‫הדרוש עבור וקטור כניסה זה מעדכנים את המשקולות‪ .‬אנו נדון רק באפשרות של עדכון המשקולות על מנת לצמצם את‬
‫השגיאה הריבועית בין מוצא הרשת למוצא הדרוש‪ .‬הניסוח המתמטי ל ‪-Gradient Descent‬הוא‪:‬‬
‫קיבלנו את המשוואה לפיה נעדכן את המשקולות בכל איטרציה כדי להביא למינימום את השגיאה הריבועית‬
‫במוצא‪ .‬נשים לב כי כמו בכל שימוש באלגוריתם ‪ Gradient Descent‬אפשר להתכנס למינימום מקומי‪.‬‬

‫אלגוריתם חלחול לאחור)‪(Back-Propagation‬‬

‫בסעיף הקודם קיבלנו את המשוואה לעדכון המשקולות של תא מסוים בהינתן מוצאו והמוצא הדרוש ("מטרה")‪ .‬עם‬
‫זאת‪ ,‬במהלך אימון הרשת ידועה לנו רק שכבת היציאה של הרשת כולה (והמטרה שלה)‪ ,‬ולא ידועים המוצאים‪/‬מטרות‬
‫של שכבות הביניים‪ .‬באמצעות אלגוריתם ‪ Back-propagation‬נעדכן את שכבות הביניים גם כן ‪ -‬שכבה אחרי שכבה‪.‬‬

‫הליך "אימון" הרשת‬

‫תהליך זה הוא הקובע את המשקולות לזיהוי אוטומטי של תבניות ברשת העצבית‪ .‬להלן דוגמה פשוטה על האופן בו‬
‫התהליך עשוי להתבצע‪ .‬דמיינו אלגוריתם הנועד ללמד את הנוירון לעיל לזהות את התבנית המיועדת לו‪:‬‬

‫הצב בהתחלה משקולות רנדומליות בין הנוירונים‪.‬‬ ‫‪.1‬‬

‫אם הפלט נכון‪ ,‬אל תעשה כלום‪.‬‬ ‫‪.2‬‬
‫אם הפלט גבוה אך אמור להיות נמוך‪ ,‬הנמך את המשקולות הקשורות לנתוני הקלט הגבוהים‪.‬‬ ‫‪.3‬‬
‫אם הפלט נמוך אך אמור להיות גבוה‪ ,‬הגבה את המשקולות הקשורות לנתוני הקלט הנמוכים‪.‬‬ ‫‪.4‬‬

‫‪ .5‬למעשה‪ ,‬פונקציה זו מחזירה תמיד מספר בין אפס לאחד‪ ,‬ולכן היא מתנהגת בדומה לפונקציית המדרגה‬
‫הבינרית היא בעלת יתרון במקרים בהם קיימות שתי תבניות דומות מאוד‪ .‬במקרים אלו ניתנת לנוירון בדרך זו‬
‫האפשרות להחזיר ערך ביניים‪ .‬זו בעצם דרכו להגיד‪" :‬אני לא בטוח"‪ .‬שרטוט ‪ 12‬מדגים את הרעיון‪.‬‬
‫‪ .6‬תהליך הלמידה מתבצע על ידי "תגמול" "וענישה" של קשרים שונים ועל ידי חשיפת רשת הנוירונים לדוגמאות‬
‫רבות‪" .‬תגמול" ו"ענישה" של הקשרים מתבצע על ידי שינוי המשקל של אותו הקשר‪ ,‬כך שכל קשר ש"מתוגמל"‬
‫משקלו יגדל וכל קשר ש"נענש" משקלו ירד‪ ,‬תהליך זה משפיע במידה רבה על תהליך העיבוד ברשת הנוירונים‬
‫ולקבלת תוצאה שונה‪ .‬כל נוירון בשכבה הראשונה מתעדכן בנתון רלוונטי הנקרא קלט‪ ,‬ולאחר תהליך עיבוד‬
 ‫בשכבות הביניים כל נוירון בשכבה האחרונה מיצר פלט הנקרא פתרון‪ .‬כל אחד מן הנוירונים יכול להשפיע‬
‫במידה מסוימת על המידע או על תהליך העיבוד שיתבצע בתא אחר בשל הקשרים הקיימים ברשת‪ .‬פעולת‬
‫החשיבה נעשית על ידי הזנת נתוני קלט לנוירונים שבשכבה העליונה‪ ,‬והעברת הנתונים בין הנוירונים ובמורד‬
‫השכבות‪ ,‬עד שנוצר מערך של נתוני פלט בנוירונים שבשכבה התחתונה‪ .‬נתוני הפלט מהווים מערך של‬
‫פתרונות הרשת לנתוני הקלט‪ .‬מדוגמה לדוגמה מתעדכנים "ערכי הסף" של הנוירונים שבמערכת‪ ,‬כך שהפלט‬
‫יהיה אופטימלי‪ .‬הערכים המתמטיים של ערכי הסף יכוילו‪ ,‬כך שכל קשר שצריך היה לאשרו יאושר‪ ,‬וכל קשר‬
‫שצריך היה לדחותו יידחה‪ .‬מעתה ואילך‪ ,‬אפשר לצפות שהרשת תקבל החלטות לאשר או לדחות באופן‬
‫שמבטא בצורה מלאה את הניסיון הנצבר בתהליך הלמידה ‪[4].‬יכולתה של רשת הנוירונים מושתתת על יכולתה‬
‫לספק דיוק מקסימלי לכל פונקציה קיימת כאשר דיוק זה יכול להתבצע על ידי הגברת מורכבות הרשת והגדלת‬
‫]‪[5‬‬
‫מספר השכבות החבויות‪.‬‬