למידת מכונה.

הסצנה בשלב הזה

שיפוע

0.6קבוע

רעש

0.8קבוע

ערך חריג

כבויקבוע

מדידות / ישר הרגרסיה

מדידותקבוע

האפשרויות

• נכונה קרוב ל־$0.6$⁠, אבל לא בדיוק

• שגויה בדיוק $0.6$⁠

  טעות נפוצה: Thinks a model learned from noisy data recovers the true rule exactly.

  משוב מהקטלוג

  המודל לומד רק מהדוגמאות שיש לו, ובדוגמאות יש רעש. עשרים מדידות שנוצרו מהכלל $y = 2 + 0.6x$⁠ ועוד רעש נותנות ישר רגרסיה קרוב, $\hat y \approx 1.90 + 0.62x$$\hat y \approx$$1.90 + 0.62x$⁠, אבל לא זהה. ככל שיש יותר נתונים ופחות רעש, המודל מתקרב לכלל; בדיוק הוא מגיע אליו רק כשאין רעש בכלל.

• שגויה רחוק מ־$0.6$⁠, כי יש רעש

  משוב

  הרעש מתקזז בין הנקודות, ולכן הישר יוצא קרוב לכלל. רחוק הוא היה רק עם מעט נקודות מאוד או הרבה רעש.

אחרי נעילת הניבוי הסצנה משתנה

מדידות / ישר הרגרסיה

ישר הרגרסיהקבוע

ואז הסצנה מראה: 0.6205 · B, the least-squares slope Sxy / Sxx/nodes/scatter/outputs/slope

ניבוי אף פעם לא נחשב כישלון: בכל מקרה הלומדים רואים את התוצאה ואת ההסבר.

פתרון מלא

הסצנה בשלב הזה

שיפוע

0.6קבוע

רעש

0.8קבוע

ערך חריג

כבויקבוע

מדידות / ישר הרגרסיה

ישר הרגרסיה

מתקבלת בטווח

± 0.05

ערך קבוע בשאלה

תשובות שגויות שהשאלה מזהה

• 6.2 ± 0.05

  טעות נפוצה: Predicts with the slope alone, leaving out the intercept.

  משוב מהקטלוג

  ישר הוא $\hat y = a + bx$⁠: שיפוע כפול $x$⁠, ועוד נקודת החיתוך. $0.62 \times 10 = 6.2$$0.62 \times 10 =$$6.2$⁠ הוא רק השינוי מ־$x = 0$⁠; הישר מתחיל בגובה $1.90$⁠, ולכן הוא חוזה $1.90 + 6.2 = 8.1$⁠.

רמז

פתרון מלא

הסצנה בשלב הזה

שיפוע

0.6קבוע

רעש

0.8

ערך חריג

כבויקבוע

מדידות / ישר הרגרסיה

ישר הרגרסיה

נקרא מהסצנה בנקודה

The residuals’ spread about the line, √(SSres / n)/nodes/scatter/outputs/lineSpread

הגדרה אחת שמגיעה למטרה

רעש

0

פתרון מלא

הסצנה בשלב הזה

שיפוע

0.6קבוע

רעש

0.8קבוע

ערך חריג

כבויקבוע

מדידות / ישר הרגרסיה

ישר הרגרסיה

האפשרויות

• נכונה הוא יירד בבירור: הישר יוטה אל הנקודה

• שגויה כמעט כלום: נקודה אחת מתוך עשרים ואחת

  טעות נפוצה: Thinks a single outlier among many points cannot shift a fitted model.

  משוב מהקטלוג

  הריבועים הקטנים ביותר מענישים טעות בריבוע: נקודה שרחוקה מהישר פי חמישה תורמת פי עשרים וחמישה לסכום. לכן ערך חריג אחד מושך את הישר אליו בכוח, וכאן הוא מוריד את השיפוע מ־$0.62$⁠ ל־$0.47$⁠. מודלים שלומדים מנתונים רגישים לנתונים שגויים, ולכן בודקים ומנקים אותם לפני האימון.

אחרי נעילת הניבוי הסצנה משתנה

ערך חריג

פועלקבוע

ואז הסצנה מראה: 0.4675 · B, the least-squares slope Sxy / Sxx/nodes/scatter/outputs/slope

ניבוי אף פעם לא נחשב כישלון: בכל מקרה הלומדים רואים את התוצאה ואת ההסבר.

פתרון מלא

הסצנה בשלב הזה

שיפוע

0קבוע

רעש

0.8קבוע

ערך חריג

כבויקבוע

מדידות / ישר הרגרסיה

ממוצע ופיזורקבוע

האפשרויות

• נכונה לא: השגיאה שלו תהיה כמעט $0.8$⁠

• שגויה כן: המחשב תמיד מוצא ישר שמתאים

  טעות נפוצה: Thinks fitting a model always gives good predictions, even when the data has no pattern.

  משוב מהקטלוג

  מודל יכול ללמוד רק דפוס שקיים בנתונים. כשאין קשר בין $x$⁠ ל־$y$⁠, ישר הרגרסיה יוצא כמעט אופקי, בגובה הממוצע, והשגיאה שלו כמעט שווה לפיזור סביב הממוצע: הוא לא חוזה טוב יותר מניחוש של הממוצע. אלגוריתם תמיד יחזיר תשובה, אבל זה לא אומר שהיא מועילה.

אחרי נעילת הניבוי הסצנה משתנה

מדידות / ישר הרגרסיה

ישר הרגרסיהקבוע

ואז הסצנה מראה: 0.7984 · The residuals’ spread about the line, √(SSres / n)/nodes/scatter/outputs/lineSpread

ניבוי אף פעם לא נחשב כישלון: בכל מקרה הלומדים רואים את התוצאה ואת ההסבר.

פתרון מלא

הסצנה בשלב הזה

צעדי אימון

0קבוע

נתונים

פינות (XOR)קבוע

רשת / גבול ההחלטה

רשתקבוע

מתקבלת בטווח

± 0.01

ערך קבוע בשאלה

תשובות שגויות שהשאלה מזהה

• 0.5 ± 0.01

  טעות נפוצה: Leaves the bias out of a neuron's weighted sum, or out of a count of its parameters.

  משוב מהקטלוג

  נוירון מחשב $z = w_1 x_1 + w_2 x_2 + b$$z =$$w_1 x_1 + w_2 x_2 + b$⁠: הקלטים כפול המשקלים, ועוד ההטיה $b$⁠. ההטיה היא כמו נקודת החיתוך של ישר: היא מזיזה את הסף שבו הנוירון “נדלק”. גם היא נלמדת באימון, ולכן היא נספרת עם הפרמטרים של הרשת.

• 1.8 ± 0.01

  טעות נפוצה: Treats a negative input or weight as positive in a weighted sum.

  משוב מהקטלוג

  במכפלה של קלט במשקל הסימנים חשובים: קלט שלילי כפול משקל חיובי נותן תרומה שלילית, שמורידה את הסכום. $0.5 \times (-1) = -0.5$$0.5 \times (-1) =$$-0.5$⁠, לא $+0.5$⁠. משקל שלילי פירושו “הקלט הזה נגד”: ככל שהוא גדול יותר, הנוירון פחות פעיל.

רמז

פתרון מלא

הסצנה בשלב הזה

צעדי אימון

0קבוע

נתונים

פינות (XOR)קבוע

רשת / גבול ההחלטה

רשתקבוע

האפשרויות

מוצגות בסדר אקראי.

• נכונה כ־$0.69$⁠: מעל חצי, כי $z$⁠ חיובי

• שגויה $0.8$⁠: הסיגמואיד לא משנה מספרים בין $0$⁠ ל־$1$⁠

  משוב

  הסיגמואיד מעקם כל מספר, גם כאלה שבין $0$⁠ ל־$1$⁠: $\sigma(0) = 0.5$⁠, ו־$\sigma(0.8) \approx 0.69$$\sigma(0.8) \approx$$0.69$⁠.

• שגויה כ־$0.31$⁠

  משוב

  $0.31$⁠ הוא $\sigma(-0.8)$⁠. ל־$z$⁠ חיובי הסיגמואיד נותן יותר מחצי.

פתרון מלא

הסצנה בשלב הזה

צעדי אימון

400

נתונים

פינות (XOR)

רשת / גבול ההחלטה

רשתקבוע

מתקבלת בטווח

± 0.01

מחושבת מהסצנה בהגדרה של השלב

Neural: links, each with one weight (2×5 + 5×5 + 5×1)/nodes/net/outputs/weights

תשובות שגויות שהשאלה מזהה

• 13 ± 0.01

  טעות נפוצה: Counts the neurons when asked for the weights, which belong to the links between them.

  משוב מהקטלוג

  משקל שייך לקישור בין שני נוירונים, לא לנוירון. כל נוירון בשכבה מחובר לכל נוירון בשכבה הבאה, ולכן מספר המשקלים בין שתי שכבות הוא המכפלה של הגדלים שלהן. ברשת $2$⁠–$5$⁠–$5$⁠–$1$⁠: $2 \times 5 + 5 \times 5 + 5 \times 1 = 40$$2 \times 5 + 5 \times 5 + 5 \times 1 =$$40$⁠ משקלים, על פני $13$⁠ נוירונים בלבד.

• 51 ± 0.01

  טעות נפוצה: Leaves the bias out of a neuron's weighted sum, or out of a count of its parameters.

  משוב מהקטלוג

  נוירון מחשב $z = w_1 x_1 + w_2 x_2 + b$$z =$$w_1 x_1 + w_2 x_2 + b$⁠: הקלטים כפול המשקלים, ועוד ההטיה $b$⁠. ההטיה היא כמו נקודת החיתוך של ישר: היא מזיזה את הסף שבו הנוירון “נדלק”. גם היא נלמדת באימון, ולכן היא נספרת עם הפרמטרים של הרשת.

רמז

פתרון מלא

הסצנה בשלב הזה

צעדי אימון

400

נתונים

פינות (XOR)

רשת / גבול ההחלטה

רשתקבוע

מתקבלת בטווח

± 0.01

ערך קבוע בשאלה

תשובות שגויות שהשאלה מזהה

• 40 ± 0.01

  טעות נפוצה: Leaves the bias out of a neuron's weighted sum, or out of a count of its parameters.

  משוב מהקטלוג

  נוירון מחשב $z = w_1 x_1 + w_2 x_2 + b$$z =$$w_1 x_1 + w_2 x_2 + b$⁠: הקלטים כפול המשקלים, ועוד ההטיה $b$⁠. ההטיה היא כמו נקודת החיתוך של ישר: היא מזיזה את הסף שבו הנוירון “נדלק”. גם היא נלמדת באימון, ולכן היא נספרת עם הפרמטרים של הרשת.

• 53 ± 0.01

  טעות נפוצה: Counts the neurons when asked for the weights, which belong to the links between them.

  משוב מהקטלוג

  משקל שייך לקישור בין שני נוירונים, לא לנוירון. כל נוירון בשכבה מחובר לכל נוירון בשכבה הבאה, ולכן מספר המשקלים בין שתי שכבות הוא המכפלה של הגדלים שלהן. ברשת $2$⁠–$5$⁠–$5$⁠–$1$⁠: $2 \times 5 + 5 \times 5 + 5 \times 1 = 40$$2 \times 5 + 5 \times 5 + 5 \times 1 =$$40$⁠ משקלים, על פני $13$⁠ נוירונים בלבד.

פתרון מלא

הסצנה בשלב הזה

צעדי אימון

400

נתונים

פינות (XOR)

רשת / גבול ההחלטה

רשת

האפשרויות

מוצגות בסדר אקראי.

• נכונה משקל שלילי גדול: הקלט הזה מחליש מאוד את הנוירון

• שגויה משקל חיובי גדול: הקלט הזה מחזק מאוד את הנוירון

  משוב

  קישורים חיוביים כחולים. כתום הוא שלילי.

• שגויה הרבה מידע עובר בו עכשיו

  משוב

  העובי הוא המשקל, שקבוע עד צעד האימון הבא. החרוזים שזורמים הם האות של הנקודה שעוברת עכשיו ברשת.

פתרון מלא

הסצנה בשלב הזה

צעדי אימון

0קבוע

נתונים

פינות (XOR)קבוע

רשת / גבול ההחלטה

רשתקבוע

האפשרויות

• נכונה כמעט את כולן

• שגויה עדיין כחצי: רשת לא יכולה ללמוד XOR

  טעות נפוצה: Thinks no neural network can learn XOR, since a single neuron cannot.

  משוב מהקטלוג

  נוירון בודד מפריד בין שתי קבוצות בקו ישר, ואת פינות ה־XOR אי אפשר להפריד בקו ישר אחד: זו הייתה הביקורת המפורסמת על הפרספטרון ב־1969. אבל רשת עם שכבות נסתרות משלבת כמה קווים לגבול מתעקל, ולומדת XOR בלי קושי. השכבות הנסתרות הן מה שנותן לרשת את הכוח.

אחרי נעילת הניבוי הסצנה משתנה

צעדי אימון

400קבוע

רשת / גבול ההחלטה

גבול ההחלטהקבוע

ואז הסצנה מראה: 100 · Neural: the share of the 80 data points the network classifies right, percent (as the board prints it, rounded)/nodes/net/outputs/accuracy

ניבוי אף פעם לא נחשב כישלון: בכל מקרה הלומדים רואים את התוצאה ואת ההסבר.

פתרון מלא

הסצנה בשלב הזה

צעדי אימון

0

נתונים

שני אשכולותקבוע

רשת / גבול ההחלטה

גבול ההחלטה

נקרא מהסצנה בנקודה

Neural: the share of the 80 data points the network classifies right, percent (as the board prints it, rounded)/nodes/net/outputs/accuracy

הגדרה אחת שמגיעה למטרה

צעדי אימון

17

פתרון מלא

הסצנה בשלב הזה

צעדי אימון

60

נתונים

שני אשכולות

רשת / גבול ההחלטה

גבול ההחלטה

האפשרויות

מוצגות בסדר אקראי.

• נכונה המשקלים וההטיות

• שגויה הנקודות שהיא לומדת מהן

  טעות נפוצה: Thinks training changes the data or the shape of the network, rather than the weights.

  משוב מהקטלוג

  הנתונים והמבנה של הרשת קבועים לאורך כל האימון: אותן 80 נקודות, אותם 13 נוירונים. מה שמשתנה בכל צעד הם המשקלים וההטיות: כל אחד זז קצת בכיוון שמקטין את השגיאה. בסצנה רואים את זה בקישורים, שמשנים עובי וצבע ככל שהאימון מתקדם.

• שגויה מספר הנוירונים והקישורים

  טעות נפוצה: Thinks training changes the data or the shape of the network, rather than the weights.

  משוב מהקטלוג

  הנתונים והמבנה של הרשת קבועים לאורך כל האימון: אותן 80 נקודות, אותם 13 נוירונים. מה שמשתנה בכל צעד הם המשקלים וההטיות: כל אחד זז קצת בכיוון שמקטין את השגיאה. בסצנה רואים את זה בקישורים, שמשנים עובי וצבע ככל שהאימון מתקדם.

פתרון מלא

הסצנה בשלב הזה

צעדי אימון

0קבוע

נתונים

פינות (XOR)קבוע

רשת / גבול ההחלטה

גבול ההחלטהקבוע

האפשרויות

• נכונה הוא יכול לרדת לזמן מה, גם כשהרשת לומדת

• שגויה הוא יעלה: כל צעד משפר

  טעות נפוצה: Expects every training step to improve the share of answers the network gets right.

  משוב מהקטלוג

  האימון לא מנסה ישירות להגדיל את אחוז התשובות הנכונות; הוא מקטין את פונקציית ההפסד, מדד חלק שמודד כמה הרשת בטוחה בתשובות שגויות. ההפסד יורד כמעט בכל צעד, אבל אחוז הנכונים יכול לרדת לזמן מה, כשהרשת עוד מארגנת מחדש את המשקלים. ב־XOR הוא יורד מ־55% ל־41% לפני שהוא מטפס ל־100%.

אחרי נעילת הניבוי הסצנה משתנה

צעדי אימון

20קבוע

ואז הסצנה מראה: 41 · Neural: the share of the 80 data points the network classifies right, percent (as the board prints it, rounded)/nodes/net/outputs/accuracy

ניבוי אף פעם לא נחשב כישלון: בכל מקרה הלומדים רואים את התוצאה ואת ההסבר.

פתרון מלא

הסצנה בשלב הזה

צעדי אימון

0

נתונים

טבעתקבוע

רשת / גבול ההחלטה

גבול ההחלטה

נקרא מהסצנה בנקודה

Neural: the share of the 80 data points the network classifies right, percent (as the board prints it, rounded)/nodes/net/outputs/accuracy

הגדרה אחת שמגיעה למטרה

צעדי אימון

197

פתרון מלא

הסצנה בשלב הזה

צעדי אימון

400

נתונים

טבעת

רשת / גבול ההחלטה

גבול ההחלטה

האפשרויות

מוצגות בסדר אקראי.

• נכונה לא בהכרח: צריך לבדוק על נקודות שהיא לא ראתה

• שגויה כן: היא כבר צודקת ב־100%

  טעות נפוצה: Thinks a network that is right on all its training data will be right on new data too.

  משוב מהקטלוג

  הרשת נבחנה רק על הנקודות שעליהן התאמנה, ואותן היא יכלה גם לשנן. השאלה החשובה היא אם היא מכלילה: אם היא צודקת גם בנקודות חדשות. רשת גדולה מדי או מאומנת יותר מדי יכולה ללמוד את הרעש של הנתונים ולהיכשל על נתונים חדשים: זו התאמת יתר. לכן תמיד שומרים בצד נתונים שהרשת לא ראתה, ובודקים עליהם.

פתרון מלא

הסצנה בשלב הזה

משפט

The keys…

הטוקן המתבונן

8

טמפרטורה

1

טוקנים / הטוקן הבא

טוקניםקבוע

האפשרויות

מוצגות בסדר אקראי.

• נכונה רצף של טוקנים, כל אחד מספר באוצר המילים, שהופך לווקטור

• שגויה את האותיות, אחת אחרי השנייה

  טעות נפוצה: Thinks a language model reads letters or whole words, rather than tokens turned into numbers.

  משוב מהקטלוג

  מודל שפה לא רואה אותיות. הטקסט נחתך לטוקנים, מילים שלמות או חלקי מילים, ולכל טוקן מספר באוצר המילים, כמו שב־ASCII לכל תו מספר. כל מספר הופך לוקטור, רשימה של מספרים, ועליהם המודל מחשב. מילה חדשה, כמו zorblat, נחתכת לחלקים מוכרים, zor ו־blat.

• שגויה את המשמעות של כל מילה, ממילון

  טעות נפוצה: Thinks a language model reads letters or whole words, rather than tokens turned into numbers.

  משוב מהקטלוג

  מודל שפה לא רואה אותיות. הטקסט נחתך לטוקנים, מילים שלמות או חלקי מילים, ולכל טוקן מספר באוצר המילים, כמו שב־ASCII לכל תו מספר. כל מספר הופך לוקטור, רשימה של מספרים, ועליהם המודל מחשב. מילה חדשה, כמו zorblat, נחתכת לחלקים מוכרים, zor ו־blat.

פתרון מלא

הסצנה בשלב הזה

משפט

The keys…קבוע

הטוקן המתבונן

8קבוע

טמפרטורה

1

טוקנים / הטוקן הבא

טוקניםקבוע

האפשרויות

• נכונה keys

• שגויה the, הטוקן שממש לפניו

  טעות נפוצה: Thinks a token attends mostly to the word just before it.

  משוב מהקטלוג

  הקשב לא נמדד במרחק. כל טוקן משקלל את כל הטוקנים שלפניו, ונותן הכי הרבה קשב למי שהכי עוזר לו לחזות את ההמשך, גם אם הוא רחוק. אחרי “The keys to the cabinet in the hall”, כדי לבחור בין is ל־are, צריך לדעת מה הנושא, ולכן hall מתבונן ב־keys, שש מילים אחורה.

• שגויה cabinet, שם העצם הקרוב

  טעות נפוצה: Thinks a token attends mostly to the word just before it.

  משוב מהקטלוג

  הקשב לא נמדד במרחק. כל טוקן משקלל את כל הטוקנים שלפניו, ונותן הכי הרבה קשב למי שהכי עוזר לו לחזות את ההמשך, גם אם הוא רחוק. אחרי “The keys to the cabinet in the hall”, כדי לבחור בין is ל־are, צריך לדעת מה הנושא, ולכן hall מתבונן ב־keys, שש מילים אחורה.

אחרי נעילת הניבוי הסצנה משתנה

טוקנים / הטוקן הבא

קשבקבוע

ואז הסצנה מראה: 2 · The position (1–8) of the token it attends to most/nodes/rack/outputs/lookedAt

ניבוי אף פעם לא נחשב כישלון: בכל מקרה הלומדים רואים את התוצאה ואת ההסבר.

פתרון מלא

הסצנה בשלב הזה

משפט

The keys…

הטוקן המתבונן

8

טמפרטורה

1קבוע

טוקנים / הטוקן הבא

קשבקבוע

נקרא מהסצנה בנקודה

The largest share of attention the attending token gives one token, 0..1/nodes/rack/outputs/topWeight

הגדרה אחת שמגיעה למטרה

משפט

My pet zorblat…

הטוקן המתבונן

8

רמז

פתרון מלא

הסצנה בשלב הזה

משפט

My pet zorblat…

הטוקן המתבונן

8

טמפרטורה

1

טוקנים / הטוקן הבא

קשב

האפשרויות

מוצגות בסדר אקראי.

• נכונה ראש קשב מוצא את ה־zor הקודם ומעתיק את מה שבא אחריו

• שגויה הוא ראה את המילה באימון, באיזה מקום ברשת

  טעות נפוצה: Thinks the model can only continue a made-up word by having met it in training.

  משוב מהקטלוג

  את zorblat אף מודל לא ראה באימון. אבל ראש קשב אחד למד דפוס כללי: “מצא את הפעם הקודמת שהטוקן הנוכחי הופיע, והסתכל במה שבא אחריו”. כש־zor מופיע שוב, הקשב קופץ ל־blat שאחרי ה־zor הראשון, והמודל מעתיק אותו. ראשים כאלה נקראים ראשי אינדוקציה, והם חלק ממה שנותן למודלים ללמוד מתוך הטקסט שלפניהם.

• שגויה הוא מסתכל על הטוקן שממש לפניו, The

  טעות נפוצה: Thinks a token attends mostly to the word just before it.

  משוב מהקטלוג

  הקשב לא נמדד במרחק. כל טוקן משקלל את כל הטוקנים שלפניו, ונותן הכי הרבה קשב למי שהכי עוזר לו לחזות את ההמשך, גם אם הוא רחוק. אחרי “The keys to the cabinet in the hall”, כדי לבחור בין is ל־are, צריך לדעת מה הנושא, ולכן hall מתבונן ב־keys, שש מילים אחורה.

פתרון מלא

הסצנה בשלב הזה

משפט

The Eiffel Tower…קבוע

הטוקן המתבונן

8קבוע

טמפרטורה

1קבוע

טוקנים / הטוקן הבא

הטוקן הבאקבוע

האפשרויות

• נכונה הוא יעלה, כמעט ל־100%

• שגויה הוא יירד: המודל יהיה פחות בטוח

  טעות נפוצה: Thinks a lower temperature makes the model's choice more random.

  משוב מהקטלוג

  הטמפרטורה מותחת או משטיחה את ההסתברויות: כל הסתברות $p$⁠ הופכת ל־$p^{1/T}$⁠, ואז מנרמלים. בטמפרטורה נמוכה החזקה גדולה, והמועמד המוביל מקבל כמעט את כל ההסתברות: המודל צפוי וזהיר. בטמפרטורה גבוהה ההבדלים נמחקים, והגלגל נעצר גם על טוקנים נדירים: יצירתי יותר, ופרוע יותר.

אחרי נעילת הניבוי הסצנה משתנה

טמפרטורה

0.2קבוע

ואז הסצנה מראה: 1 · The probability of the likeliest next token at this temperature, 0..1/nodes/rack/outputs/pTop

ניבוי אף פעם לא נחשב כישלון: בכל מקרה הלומדים רואים את התוצאה ואת ההסבר.

פתרון מלא

הסצנה בשלב הזה

משפט

The keys…קבוע

הטוקן המתבונן

8קבוע

טמפרטורה

1

טוקנים / הטוקן הבא

הטוקן הבאקבוע

נקרא מהסצנה בנקודה

The probability of the likeliest next token at this temperature, 0..1/nodes/rack/outputs/pTop

הגדרה אחת שמגיעה למטרה

טמפרטורה

0.75

רמז

פתרון מלא