אנטרופיה.

שלב 1 מתוך 5

ההפתעה הממוצעת

מטבע מוטה מייצר בעיקר הפתעות קטנות, ומדי פעם הפתעה גדולה. כדי לדעת כמה מידע הוא מייצר בממוצע, לכל הטלה, שוקלים כל הפתעה לפי הסיכוי שלה. הממוצע הזה נקרא אנטרופיה, ומסמנים אותו ב־$H$⁠:

$H = p \cdot \log_2 \frac{1}{p} + (1-p) \cdot \log_2 \frac{1}{1-p}$$H =$$p \cdot \log_2 \frac{1}{p} + (1-p) \cdot \log_2 \frac{1}{1-p}$⁠

זה אותו ממוצע משוקלל שמחשבים בהסתברות, כמו תוחלת: כל ערך כפול הסיכוי שלו. הסיכוי לעץ קבוע על 90%, ומדידה ודחיסה על מטבעות. חשבו את האנטרופיה בעצמכם.

שלב 2 מתוך 5

העקומה

מדידה ודחיסה עכשיו על אנטרופיה. העקומה על הלוח השקוף היא $H$⁠ לכל סיכוי לעץ, מ־0% עד 100%, והסמן מראה את המטבע הנוכחי. העקומה היא גבנון: היא עולה משני הקצוות ומגיעה לשיא של סיבית אחת בדיוק באמצע.

לפני שתזיזו משהו, חשבו מה יקרה לאנטרופיה אם ההטיה תתהפך.

שלב 3 מתוך 5

מטבע ודאי

בשני הקצוות של העקומה המטבע כבר לא באמת מוטל: התוצאה ידועה מראש. הסרט עדיין מתמלא בסיביות, אחת לכל הטלה, אבל אורך הרישום הוא דבר אחד, ומה שהוא מספר הוא דבר אחר.

שלב 4 מתוך 5

באמצע הדרך

בין המטבע הוגן למטבע הוודאי, האנטרופיה יורדת לאט בהתחלה ומהר בסוף. מטבע של 75% עדיין נושא כארבע חמישיות סיבית להטלה, ומטבע של 99% רק כשמונה מאיות. כדי שמטבע יהיה ממש צפוי, הוא צריך להיות מוטה מאוד.

שלב 5 מתוך 5

רעש אקראי מלא מידע

אנטרופיה גבוהה פירושה שקשה לנחש את הסמל הבא. לכן הסרט של מטבע הוגן, שנראה כמו ערבוביה חסרת משמעות של אפסים ואחדות, הוא בדיוק הסרט עם הכי הרבה מידע לכל סיבית. זה נשמע הפוך מהאינטואיציה, אבל זו ההגדרה: מידע הוא מה שלא יכולתם לנחש. קבצים דחוסים ומוצפנים נראים כמו רעש מאותה סיבה.