For faster navigation, this Iframe is preloading the Wikiwand page for אנטרופיה (סטטיסטיקה).

אנטרופיה (סטטיסטיקה)

בסטטיסטיקה ובתחומים נוספים, ובעיקר בתורת האינפורמציה, אנטרופיהאנגלית: Entropy) היא מדד לגודלו האפקטיבי של מרחב הסתברות. האנטרופיה של התפלגות אחידה בדידה על n מצבים היא . את מושג האנטרופיה המתמטית פיתח אבי תורת האינפורמציה קלוד שאנון ב־1948[1].

לדוגמה, הטלת מטבע מחזירה אחת מבין שתי אפשרויות, והטלת קובייה מחזירה אחת מבין שש אפשרויות. ברור שאת התוצאה של הטלת הקוביה קשה יותר לחזות מאשר את זו של המטבע. חיבור התוצאות של שתי קוביות מחזיר אחת מבין 11 אפשרויות, שבהן 7 היא השכיחה ביותר, ואילו 2 או 12 נדירות ביחס. כאן לא די לומר שגודל מרחב ההסתברות הוא 11 - ההסתברויות אינן אחידות, ולכן לא ניתן במבט ראשון לקבוע האם תוצאת החיבור קשה יותר לחיזוי מאשר, נאמר, בחירה של ספרה אקראית בין 1 ל־9 (בהתפלגות אחידה בדידה). הצורך להשוות באופן מדויק בין מרחבי התפלגות שונים קיים בכל תחומי המדע, ומדידת האנטרופיה באופן שיוצג להלן שכיחה בפיזיקה, בתורת האינפורמציה בביולוגיה (שם היא נקראת מדד שאנון-ויבר) ובתחומים נוספים.

הגדרה ואקסיומטיקה

אם X הוא מרחב הסתברות סופי, עם הסתברויות הבאות המייצגות את המאורעות השונים במרחב, אזי האנטרופיה שלו מוגדרת לפי הנוסחה

זהו ערך חיובי, המקיים , עם שוויון רק כאשר ההסתברויות שוות כולן זו לזו. במובן זה, האנטרופיה מייצגת את הלוגריתם של גודל המרחב, ולא את הגודל עצמו. על־פי אותה נוסחה בדיוק אפשר לחשב את האנטרופיה של משתנה מקרי (המקבל מספר סופי של ערכים). בשני המקרים, האנטרופיה אינה מתחשבת בטיבם של המאורעות השונים במרחב, אלא בהסתברות שהם יתרחשו.

את "מספר האפשרויות" שמייצג X אפשר למדוד בדרכים נוספות, כגון ספירת מצבים נאיבית (n, במקרה שלנו), ממוצע הרמוני של ההסתברויות (), ועוד. הסיבה לכך שמדד האנטרופיה נחשב למדד המתאים בהקשרים רבים כל־כך קשורה לכמה תכונות יסודיות שהוא מקיים.

כדי שניתן יהיה להסביר תכונות אלה, עלינו להזכיר מושג יסודי אחר בסטטיסטיקה: התפלגות מותנית. אם X ו־Y שני משתנים מקריים, אז עבור כל ערך אפשרי y של Y, אפשר לבנות משתנה מקרי חדש , "המשתנה המותנה", המייצג את הערכים שיכול לקבל X אם ידוע ש־Y קיבל את הערך y. כאשר הערך של Y אינו ידוע, מסמנים את המשתנה המותנה בסימון ; זהו, אם כך, משתנה מקרי, שהתפלגותו המדויקת תלויה בערך שיקבל Y.

פונקציית האנטרופיה H מקיימת את ארבע התכונות הבאות:

  1. אדיטיביות: אם X ו־Y שני משתנים מקריים בלתי תלויים, אז . במילים אחרות, האנטרופיה של מכפלה ישרה של מרחבי התפלגות שווה לסכום האנטרופיות של שני המרחבים.
  2. פיצול: אם X משתנה מקרי ו־Y פונקציה של X, אז , כאשר מייצג את התוחלת של במעבר על כל הערכים האפשריים של Y.
  3. רציפות: האנטרופיה של התפלגות ברנולי היא פונקציה רציפה של p.
  4. נורמליות: האנטרופיה של ההתפלגות האחידה על שני מצבים, היא 1.

משפט: פונקציית האנטרופיה H היא הפונקציה היחידה המקיימת את ארבע התכונות לעיל. הוכחה: נניח ש-H היא פונקציה המוגדרת על משתנים מקריים, ומקיימת את תכונות האדיטיביות, הפיצול, הרציפות והנורמליות. ראשית נחשב את , שהוא הערך של H במשתנה ברנולי . יהיו משתני ברנולי בלתי תלויים. נסמן ב-Z את המשתנה המוגדר להיות 0 אם X=Y ו-1 אחרת. Z הוא פונקציה של הזוג הסדור (X,Y), ולפי אקסיומות הפיצול והאדיטיביות, . אבל Z עצמו מתפלג ברנולי, עם הסתברות 2pq להיות 1 (כאשר q=1-p). לפי ההגדרה, , ולכן . זוהי משוואה פונקציונלית, שהפתרון היחיד שלה הוא . עבור משתנה המקבל n ערכים, אפשר לחשב את H באינדוקציה, על ידי התניה בקבלת הערך האחרון: .

דוגמה

נפתור את הדוגמה שבפתיח (מה יותר קשה לחיזוי - סכום הטלת שתי קוביות או התפלגות אחידה בין 9 תוצאות): למרחב אחיד בגודל 9 יש 9 תוצאות שלכל אחת מהן הסתברות , ולכן האנטרופיה היא , ואילו האנטרופיה של מרחב התוצאות האפשריות של סכום שתי קוביות היא

כלומר, מעט קשה יותר לחזות את התוצאה של סכום שתי קוביות מאשר את התוצאה של בחירה אקראית מתוך 9 אפשרויות.

שימושים

לאנטרופיה של שאנון קשר הדוק ליכולת לדחוס אינפורמציה וליכולת ללמוד מהאינפורמציה באמצעות אלגוריתמים של למידת מכונה. מושגים נוספים הקשורים לאנטרופיה קשר הדוק הם אינפורמציה הדדית ואנטרופיה מותנית. לאנטרופיה יש גם קשר עמוק למושג סיבוכיות קולמוגורוב.

ראו גם

קישורים חיצוניים

ויקישיתוף מדיה וקבצים בנושא אנטרופיה בוויקישיתוף

הערות שוליים

  1. ^ C.E. Shannon, "A Mathematical Theory of Communication", Bell System Technical Journal, vol. 27, pp. 379–423, 623-656, July, October, 1948
{{bottomLinkPreText}} {{bottomLinkText}}
אנטרופיה (סטטיסטיקה)
Listen to this article

This browser is not supported by Wikiwand :(
Wikiwand requires a browser with modern capabilities in order to provide you with the best reading experience.
Please download and use one of the following browsers:

This article was just edited, click to reload
This article has been deleted on Wikipedia (Why?)

Back to homepage

Please click Add in the dialog above
Please click Allow in the top-left corner,
then click Install Now in the dialog
Please click Open in the download dialog,
then click Install
Please click the "Downloads" icon in the Safari toolbar, open the first download in the list,
then click Install
{{::$root.activation.text}}

Install Wikiwand

Install on Chrome Install on Firefox
Don't forget to rate us

Tell your friends about Wikiwand!

Gmail Facebook Twitter Link

Enjoying Wikiwand?

Tell your friends and spread the love:
Share on Gmail Share on Facebook Share on Twitter Share on Buffer

Our magic isn't perfect

You can help our automatic cover photo selection by reporting an unsuitable photo.

This photo is visually disturbing This photo is not a good choice

Thank you for helping!


Your input will affect cover photo selection, along with input from other users.