קשב במודל שפה.

שלב 1 מתוך 6

טוקנים

מודל שפה גדול, כמו אלה שמאחורי צ’טבוטים, הוא רשת עצבית ענקית עם משימה אחת: לקבל טקסט ולחזות את הטוקן הבא. הוא עושה את זה שוב ושוב, טוקן אחר טוקן, וכך כותב. כל המודל הוא נוירונים ומשקלים, כמו בשיעורים הקודמים, רק מיליארדים מהם.

על המדף משפט באנגלית, אריח לכל טוקן, עם המספר שלו באוצר המילים. מאחורי כל אריח עמודה של תאים מוארים, הווקטור של הטוקן. המספרים כאן הומצאו להמחשה, אבל הם עובדים כמו במודל אמיתי.

שלב 2 מתוך 6

קשב

לפני שהוא חוזה, כל טוקן אוסף מידע מהטוקנים שלפניו, דרך ראש קשב: הוא נותן לכל טוקן קודם משקל, החלקים מסתכמים ב־100%, והווקטור שלו מתעדכן בתערובת המשוקללת שלהם. בטוקנים שאחריו הוא לא יכול להסתכל: הם עוד לא נכתבו. הטוקן המתבונן מורם, והזכוכית המעושנת מכסה את מה שבא אחריו. נבאו, ואז מבט פנימה יצייר קשתות, עבות כמו הקשב.

שלב 3 מתוך 6

קשב חד

ברוב המקומות הקשב מתפזר על כמה טוקנים. שנו את המשפט ואת הטוקן המתבונן, וחפשו מקום שבו טוקן אחד לוקח כמעט את כל הקשב.

שלב 4 מתוך 6

העתקה

במשפט של zorblat הטוקן האחרון הוא zor, בפעם השנייה. הסתכלו לאן הוא מתבונן, ובמה שבא אחרי ה־zor הראשון.

שלב 5 מתוך 6

הטוקן הבא

אחרי הקשב, המודל נותן לכל טוקן אפשרי הסתברות להיות הבא. הגלגל בקצה המדף מחולק לפי ההסתברויות, ועוד פלח מקווקו לזנב הארוך של כל השאר. אחר כך הוא דוגם: מסובב את הגלגל ובוחר. הטמפרטורה קובעת איך: היא מעלה כל הסתברות בחזקת $\dfrac{1}{T}$⁠ ומנרמלת מחדש. נבאו מה תעשה טמפרטורה נמוכה.

שלב 6 מתוך 6

טמפרטורה

בטמפרטורה $1$⁠ הגלגל הוא ההתפלגות של המודל כפי שהיא. כוונו אותה עד שהמועמד המוביל מקבל את הסיכוי שבשאלה.