הפתעה שנמדדת בסיביות.

שלב 1 מתוך 5

מה זה מידע

מכונה מטילה מטבעות ומדפיסה כל הטלה על סרט: $1$⁠ לעץ, $0$⁠ לפלי. לפני כל הטלה אתם לא יודעים מה תהיה הספרה הבאה, ואחריה אתם יודעים בדיוק. המעבר הזה, מאי־ידיעה לידיעה, הוא מה שמדעי המחשב קוראים לו מידע.

ההגדרה הזאת, של קלוד שאנון משנת 1948, לא שואלת אם ההודעה חשובה, נכונה או מעניינת. היא שואלת רק כמה ספק ההודעה מסירה: כמה לא ידעתם לפני שהגיעה. הודעה שיכולתם לנחש מראש לא מספרת לכם כלום.

שלב 2 מתוך 5

סיבית אחת

את הספק מודדים בסיביות. סיבית אחת היא התשובה לשאלה אחת של כן או לא, כששתי התשובות סבירות באותה מידה: בדיוק מה שמטבע הוגן נותן.

שאנון מדד את ההפתעה של תוצאה שההסתברות שלה $p$⁠ כך:

$-\log_2 p = \log_2 \frac{1}{p}$$-\log_2 p =$$\log_2 \frac{1}{p}$⁠

$\log_2 x$⁠ הוא החזקה שבה צריך להעלות את $2$⁠ כדי לקבל $x$⁠. למשל, $\log_2 8 = 3$⁠, כי $2^3 = 8$⁠. הסיכוי לעץ קבוע עכשיו על 50%. חשבו כמה הפתעה יש בעץ.

שלב 3 מתוך 5

מטבע מוטה

עכשיו המטבע מוטה, ונופל על עץ בתשע הטלות מתוך עשר. הסתכלו על הסרט: הוא מתמלא באחדות, ואת רובו הייתם יכולים לכתוב בלי להסתכל על המטבע.

כשהתוצאה צפויה, היא כמעט לא מוסיפה ידע. כשהיא מפתיעה, היא מוסיפה הרבה. אירועים נדירים הם חדשות גדולות.

שלב 4 מתוך 5

כל חצייה היא סיבית

הנוסחה $\log_2 \tfrac{1}{p}$⁠ אומרת משהו פשוט: כל פעם שהסיכוי של תוצאה נחצה, ההפתעה שלה גדלה בסיבית אחת. לתוצאה בסיכוי $\tfrac12$⁠ יש סיבית אחת, לתוצאה בסיכוי $\tfrac14$⁠ שתיים, ולתוצאה בסיכוי $\tfrac18$⁠ שלוש.

זה גם מספר הסיביות שצריך כדי לרשום את התוצאה: כדי להבחין בין ארבע אפשרויות שוות מספיקות שתי ספרות בינאריות, 00, 01, 10 ו־11. וההפתעות של הטלות בלתי תלויות מתחברות: שתי הטלות הוגנות נושאות שתי סיביות.

שלב 5 מתוך 5

חדשות נדירות

מדידה ודחיסה על אנטרופיה: על הלוח השקוף מופיעה ההפתעה של כל צד במטבע. שנו את הסיכוי לעץ והסתכלו איך ההפתעה של עץ גדלה כשהוא נעשה נדיר, וקטנה כשהוא נעשה צפוי.