רשת של סכומים זעירים
רשת עצבית בנויה מיחידות פשוטות, שתוכננו בהשראה רופפת של תאי עצב, והן מסודרות בשכבות. כל יחידה עושה מעט מאוד: היא לוקחת את המספרים שמגיעים מהשכבה הקודמת, מכפילה כל אחד מהם במשקל, מחברת אותם יחד עם קבוע משלה (ההטיה), ודוחסת את הסכום לטווח קבוע. התוצאה שלה, האקטיבציה של היחידה, מועברת הלאה לשכבה הבאה.
לרשת שבניסוי יש שני קלטים, מיקום ה־x ומיקום ה־y של נקודה, שתי שכבות נסתרות של חמש יחידות כל אחת, ופלט אחד: התשובה שלה לשאלה אם הנקודה כחולה או כתומה. העובי של כל קשר מראה את גודל המשקל שלו. קשרים כחולים מוסיפים לסכום של היחידה הבאה, וקשרים כתומים מחסירים ממנו.
ללמוד פירושו לכוונן משקלים
בהתחלה המשקלים אקראיים, ולכן התשובות הן ניחושים. האימון מראה לרשת את 80 נקודות הדוגמה עם הצבעים האמיתיים שלהן ומודד עד כמה היא טועה, מספר שנקרא ההפסד. אחר כך הוא מחשב, לכל משקל ומשקל, אם הגדלה קלה שלו תגדיל את ההפסד או תקטין אותו, ומזיז כל משקל מעט בכיוון שעוזר. זהו מורד הגרדיאנט: כמו לרדת מגבעה בערפל, כשמרגישים ברגליים לאיזה צד הקרקע משתפעת.
את כל השיפועים האלה מחשבים בבת אחת בפעפוע לאחור: השגיאה בפלט מועברת אחורה דרך השכבות, וכך כל קשר לומד מה חלקו באשמה.
נסו: התחילו כשצעדי אימון על 0 וגררו אותם לאט ימינה. צפו בקשרים מתעבים ומחליפים צבע, ובאחוז התשובות הנכונות מטפס לעבר 100%.
הגבול שהיא לומדת
בחרו פועל תחת הצגת גבול ההחלטה. הלוח מראה את התשובה של הרשת בכל מקום: המשטח עולה ונצבע כחול היכן שהיא אומרת כחול, ושוקע ונצבע כתום היכן שהיא אומרת כתום. הקו הלבן הוא גבול ההחלטה, המקום שבו הרשת מתלבטת בדיוק באמצע.
בחרו שני אשכולות: כאן גבול ישר מספיק, ולכן הרשת לומדת אותו בפחות מעשרים צעדים. בפינות (XOR) הכחול נמצא בשתי פינות נגדיות והכתום בשתיים האחרות; שום קו ישר יחיד לא יכול להפריד ביניהם, וזו הבעיה המפורסמת שהרשתות החד־שכבתיות הראשונות לא הצליחו לפתור בשנות ה־60. עם שכבות נסתרות, הרשת מכופפת את הגבול שלה לצורת רצועה. בטבעת היא לומדת לשרטט לולאה סגורה.
היחידות הנסתרות הן הסיבה: כל אחת מהן משרטטת חתך ישר משלה דרך המישור, והשכבה הבאה מצרפת את החתכים האלה לעקומות.
מה המודל הזה משאיר בחוץ
הרשת הזאת זעירה, ולכן אפשר לראות כל משקל שלה. במודלים של תמונה ושל שפה יש מיליארדי משקלים, הם מאומנים על מיליוני דוגמאות בקבוצות קטנות ואקראיות ולא על כולן בבת אחת, ומשתמשים בטכניקות נוספות כדי לשמור על למידה יציבה. הצלחה בנקודות האימון אינה הצלחה בנקודות חדשות: רשת יכולה לשנן את הדוגמאות שלה, תופעה שנקראת התאמת יתר, ולכן באימון אמיתי בודקים אותה על נתונים שלא ראתה מעולם. היחידות ברשת עצבית הן רק אנלוגיה רופפת לתאי עצב; המוח לא לומד בפעפוע לאחור בצורה הזאת. צבעי הקשרים, היחידות הזוהרות והחרוזים הנעים מציגים את המספרים שברשת; שום דבר במחשב לא באמת נדלק.