איך רשת לומדת: הפסד שהאימון מקטין, ירידה במורד הגרדיאנט צעד אחר צעד, XOR שנוירון אחד לא יכול ללמוד, משימות קשות שלוקחות יותר זמן, והשאלה אם הרשת תצדק גם על נתונים חדשים.
שלב 1 מתוך 6 · משקלים אקראיים
שלב 1 מתוך 6
משקלים אקראיים
רשת חדשה מתחילה עם משקלים אקראיים, ולכן היא מנחשת: על פינות ה־XOR, שבהן נקודות כחולות בשתי פינות נגדיות וכתומות בשתיים האחרות, היא צודקת בערך במחצית. הלוח מראה את מספר צעדי האימון ואת אחוז הנקודות שהרשת מסווגת נכון. נבאו, ואז הרשת תתאמן.
שלב 2 מתוך 6
צעדי אימון
כדי לאמן, מודדים כמה הרשת טועה במספר אחד, ההפסד: הוא קטן כשהרשת נותנת לכל נקודה ערך קרוב לצבע הנכון שלה, וגדול כשהיא בטוחה בתשובה שגויה. אחר כך מזיזים כל משקל צעד קטן בכיוון שמקטין את ההפסד, וחוזרים על זה שוב ושוב. מבט פנימה מראה את הנתונים על לוח שגובהו הוא הפלט של הרשת, ואת גבול ההחלטה, הקו שבו הפלט הוא בדיוק .
שלב 3 מתוך 6
מה משתנה
הזיזו את צעדי אימון קדימה ואחורה והסתכלו ברשת: הקישורים משנים עובי וצבע, והגבול זז.
שלב 4 מתוך 6
ההפסד
השיטה הזאת נקראת ירידה במורד הגרדיאנט: כמו מטפס שיורד מהר בערפל, וכל פעם צועד צעד קטן במורד התלול ביותר שמתחת לרגליו. היא מקטינה את ההפסד, לא ישירות את מספר הטעויות. נבאו מה קורה לאחוז הנכונים בהתחלה.
שלב 5 מתוך 6
צורה קשה יותר
בטבעת הנקודות הכתומות במרכז והכחולות סביבן. כדי להפריד ביניהן, הגבול צריך להיסגר סביב המרכז.
שלב 6 מתוך 6
נתונים חדשים
הרשת התאמנה על 80 נקודות. אבל מטרת הלמידה היא לא לדעת את הנקודות האלה, אלא לסווג נקודות שעוד לא נראו.
הגרסה האינטראקטיבית נטענת…
הגרסה האינטראקטיבית נטענת…
כל שלב מכין לכם את הסצנה, ובקר שמסומן „קבוע” נשאר במקומו בשלב הזה.
תרגול · נבאו, ואז הסתכלו
הרשת עוד לא אומנה, והמשקלים שלה אקראיים: היא צודקת בכחצי מהנקודות של פינות ה־XOR. כמה מהנקודות היא תסווג נכון אחרי 400 צעדי אימון?
תרגול · נבאו, ואז הסתכלו
הרשת עוד לא אומנה, והמשקלים שלה אקראיים: היא צודקת בכחצי מהנקודות של פינות ה־XOR. כמה מהנקודות היא תסווג נכון אחרי 400 צעדי אימון?
תרגול · הגיעו למטרה
אמנו את הרשת על שני אשכולות: הגדילו את צעדי אימון עד שהיא צודקת בכל 80 הנקודות, ולחצו על בדיקה.
תרגול · הגיעו למטרה
אמנו את הרשת על שני אשכולות: הגדילו את צעדי אימון עד שהיא צודקת בכל 80 הנקודות, ולחצו על בדיקה.
תרגול · בחרו
בין צעד אימון אחד לבא, מה משתנה ברשת?
תרגול · בחרו
בין צעד אימון אחד לבא, מה משתנה ברשת?
תרגול · נבאו, ואז הסתכלו
הרשת מתחילה ללמוד XOR, ובצעד 0 היא צודקת ב־55% מהנקודות. מה יקרה לאחוז הזה אחרי 20 צעדי אימון?
תרגול · נבאו, ואז הסתכלו
הרשת מתחילה ללמוד XOR, ובצעד 0 היא צודקת ב־55% מהנקודות. מה יקרה לאחוז הזה אחרי 20 צעדי אימון?
תרגול · הגיעו למטרה
עכשיו הנתונים הם טבעת: נקודות כחולות סביב עיגול של נקודות כתומות. הגדילו את צעדי אימון עד שהרשת צודקת לפחות ב־90% מהנקודות, ולחצו על בדיקה.
תרגול · הגיעו למטרה
עכשיו הנתונים הם טבעת: נקודות כחולות סביב עיגול של נקודות כתומות. הגדילו את צעדי אימון עד שהרשת צודקת לפחות ב־90% מהנקודות, ולחצו על בדיקה.
תרגול · בחרו
הרשת המאומנת צודקת בכל 80 נקודות האימון. האם היא תצדק גם בנקודות חדשות מאותו סוג?
תרגול · בחרו
הרשת המאומנת צודקת בכל 80 נקודות האימון. האם היא תצדק גם בנקודות חדשות מאותו סוג?
השיעור הושלם. עניתם על כל שאלות התרגול בו.