ענן של מדידות
מדדו שתי תכונות של אותם עצמים, ושרטטו אחת מול השנייה: הגובה ומוטת הידיים של עשרים אנשים, הטמפרטורה ומכירות הגלידה של עשרים ימים, המשקל שתלוי על קפיץ וכמה הוא נמתח. כל עצם הופך לנקודה אחת, , ויחד הן יוצרות דיאגרמת פיזור. אם הנקודות עולות משמאל לימין, גדול יותר נוטה לבוא עם גדול יותר; אם הן יורדות, עם קטן יותר. אבל מדידות אמיתיות אף פעם לא יושבות בדיוק על ישר. משהו תמיד דוחף כל אחת מהן קצת: סיבות אחרות, מקרה, הגבולות של סרגל המדידה.
הלוח יוצר ענן כזה מכלל שאתם קובעים. כל נקודה מתחילה על הישר , כש־ הוא השיפוע, ואז נדחפת למעלה או למטה בשיעור אקראי. שיפוע קובע כמה תלול הכלל עולה או יורד; רעש קובע את גודל הדחיפות האקראיות, את סטיית התקן של ההגרלות. כשהרעש הוא כל הנקודות יושבות על הכלל. הסטטיסטיקה שואלת בכיוון ההפוך: כשיש בידינו רק את הנקודות, איך מוצאים את הכלל ואומרים כמה אפשר לסמוך עליו?
האמצע והפיזור
התחילו מערכי לבדם. הממוצע שלהם, , הוא הסכום שלהם חלקי מספרם. קדמו את התאמת הישר אל ממוצע ופיזור, וקו אופקי נדלק בגובה . הממוצע הוא נקודת האיזון של הנתונים: סכום המרחקים של הנקודות שמעליו שווה בדיוק לסכום המרחקים של הנקודות שמתחתיו, כך שאילו כל נקודה הייתה משקולת על סרגל, הסרגל היה מתאזן שם. הטבעת מסמנת את נקודת האיזון של הענן כולו, .
כמה רחוק הנקודות סוטות מהממוצע? המרחק של כל אחת מהקו, הסטייה שלה, תלוי עכשיו ממנו כמקל גיר, ועליו מצויר ריבוע. סטיות למעלה ולמטה מבטלות זו את זו כשמחברים אותן, ולכן הסטטיסטיקה מעלה אותן קודם בריבוע. הממוצע של הריבועים הוא השונות, , והשורש שלה הוא סטיית התקן, (בספרי לימוד רבים ):
כלומר היא הצלע של הריבוע הממוצע, שעומד ליד הגרף. הרצועה המוצללת מ־ עד מכילה את רוב הנקודות. בערכים שמתפלגים לפי עקומת הפעמון היא מכילה בערך שתיים מכל שלוש, ורצועה רחבה פי שניים מכילה בערך 95 מכל מאה.
הישר שמחטיא הכי מעט
עכשיו קדמו אל ישר הרגרסיה. הקו האופקי מסתובב סביב נקודת האיזון, וכל מקל עוקב אחריו, כך שכל מקל הופך לשארית: בכמה הישר מחטיא את הנקודה, כשמודדים ישר למעלה או למטה. ככל שהישר נוטה לכיוון המגמה הריבועים מתכווצים, והוא נעצר במקום שבו השטח הכולל שלהם הכי קטן שאפשר. זה ישר הריבועים הפחותים, או ישר הרגרסיה, שכותבים : ישר, הפונקציה הקווית של האלגברה בבית הספר, עם שיפוע וחיתוך .
הגרף שליד הסצנה מראה למה יש בדיוק ישר אחד כזה. לכל ישר שעובר דרך נקודת האיזון הוא משרטט את השטח הכולל של הריבועים מול השיפוע של הישר; העקומה היא פרבולה, והישר הטוב ביותר יושב בנקודה הנמוכה שלה. כשמחשבים איפה היא, מקבלים
ולכן ישר הרגרסיה עובר תמיד דרך . בערכי ההתחלה הלוח כותב , קרוב לכלל הנסתר, שהשיפוע שלו . זה לא בדיוק הכלל, כי עשרים ההגרלות האלה של הרעש מטות את הענן במקרה מעט. מדדו עוד עשרים, והישר ייצא קצת אחר; כמה הוא מתנדנד, ואיך הנדנוד קטן ככל שהמדגם גדל, זה הנושא של מודלים ואי־ודאות.
למה ריבועים, ולא המרחקים עצמם? ריבועים אף פעם אינם שליליים, החטאה גדולה אחת נחשבת בהם הרבה יותר מכמה קטנות, והם מובילים לישר טוב ביותר יחיד שיש לו נוסחה. אדריאן־מארי לז’נדר פרסם את השיטה ב־1805 וקרל פרידריך גאוס ב־1809, שניהם כדי להתאים מסלולים של כוכבי לכת ושל שביטים לתצפיות לא מדויקות.
מקדם המתאם r
הריבועים מודדים גם כמה טוב הישר מתאים. לפני הישר, השטח הממוצע של הריבועים סביב הממוצע הוא . אחריו, לריבועים של השאריות יש שטח ממוצע קטן יותר, . החלק מהשטח שהישר מוריד נקרא :
והשורש שלו, עם הסימן של השיפוע, הוא מקדם המתאם . הוא נע בין ל־. ב־ או ב־ כל הנקודות על ישר אחד ולא נשארים ריבועים; קרוב ל־ הישר הטוב ביותר כמעט אופקי ומוריד כמעט כלום. בערכי ההתחלה , ולכן הישר מוריד 78% מהשטח. אותו מספר מתקבל ישירות מהנתונים:
ככלל אצבע, מתאם שגודלו מעל נקרא חזק, ומתחת ל־ חלש. קרל פירסון נתן לנוסחה את הצורה הזאת ב־1896, על בסיס העבודה של פרנסיס גלטון על תורשה; גלטון גם נתן לרגרסיה את שמה, אחרי שהבחין שלהורים גבוהים נוטים להיוולד ילדים גבוהים, אבל פחות מהם, קרובים יותר לממוצע.
נסו: הזיזו את רעש אל , וכל הנקודות נופלות על הישר: . עכשיו הזיזו אותו אל . השיפוע של הישר הטוב ביותר כמעט לא משתנה, אבל הריבועים גדלים ו־ יורד ל־. אחר כך קבעו את שיפוע על ואת רעש על : ישר מתון, ובכל זאת שוב . המקדם מודד כמה הנקודות צמודות לישר, ולא כמה הישר תלול.
ערכים חריגים, עקומות וסיבות
הפעילו את ערך חריג, ומופיעה מדידה שגויה אחת, רחוקה מתחת לכל השאר. השארית שלה גדולה, ולכן הריבוע שלה ענק, ומכיוון ששיטת הריבועים הפחותים שוקלת כל ריבוע באותה מידה, הנקודה הבודדת הזאת מושכת את הישר אליה: השיפוע יורד מ־ ל־, ו־ מ־ ל־. ניתוח אמיתי היה בוחן נקודה כזאת היטב לפני שהוא סומך על הישר, כי טעות בהעתקה או חיישן מקולקל יכולים לגבור על תשע־עשרה מדידות טובות.
המקדם מודד רק קשר של ישר. נקודות על קשת מושלמת, כמו הגובה של כדור שנזרק כשמודדים אותו במרווחים שווים מהזריקה ועד התפיסה, נותנות קרוב ל־, אף ש־ תלוי ב־ לגמרי. הסתכלו תמיד בדיאגרמת הפיזור, ולא רק במספר.
ומתאם חזק לא אומר לאיזה כיוון הסיבה פועלת, או אם יש סיבה בכלל. מכירות הגלידה ומקרי הטביעה עולים ויורדים יחד, כי מזג אוויר חם מגביר את שניהם. כדי להחליט על מה מתאם מעיד צריך יותר מהנתונים שעל גרף אחד; איך ראיה צריכה לשנות אמונה, זה הנושא של חשיבה בייסיאנית.
מה המודל הזה משמיט
הרעש הוא קבוצה קבועה אחת של עשרים הגרלות אקראיות מעקומת הפעמון, שהותאמו כך שהממוצע שלהן יהיה בדיוק וסטיית התקן שלהן בדיוק , ולכן רעש הוא בדיוק הפיזור של הנקודות סביב הכלל. שאר התכונות שלהן נשארו כפי שהמקרה קבע, ולכן הישר המותאם קרוב לכלל אבל לא עליו. רק ערכי רועשים: כל נחשב כאילו נמדד בדיוק מושלם. בנתונים אמיתיים יש לעתים קרובות שגיאות בשניהם. והשיטה לא סימטרית בכל מקרה: חיזוי של מתוך נותן ישר אחר מחיזוי של מתוך , אלא אם שווה ±1.
סטיית התקן מחלקת ב־, כמו בסטטיסטיקה של בית הספר. ספרי סטטיסטיקה רבים מחלקים ב־ כשהנתונים הם מדגם מאוכלוסייה גדולה יותר, וזה מגדיל את מעט. כל ריבוע מצויר בקנה המידה של הגרף עצמו, ולכן אפשר להשוות שטחים, וכל ריבוע מצויר בצד של המקל שקרוב יותר לאמצע, רק כדי שיישאר על הלוח.