Entropia di Shannon

L’entropia è una grandezza che misura il “disordine”. In termodinamica la si introduce come “tasso di cambio” tra energia e disordine: $\Delta E = T\Delta S$ (Borghi, Entropioni, 2019). Claude Shannon negli anni ‘40 scoprì che la stessa formula descrive l’informazione media trasmessa da una sorgente probabilistica (Shannon, 1948).

Definizione — Entropia di Shannon

Sia $X$ una variabile aleatoria discreta con valori $x_1,\ldots,x_n$ e probabilità $p_1,\ldots,p_n$ (con $\sum p_i=1$). L’entropia di $X$ è $H(X) = -\sum_{i=1}^{n} p_i \log_2 p_i,$ misurata in bit. Convenzione: $0\cdot\log 0 = 0$ (limite di $p\log p$ per $p\to 0^+$). Cambiando la base del logaritmo cambia l’unità: base $e$ dà nat, base $10$ dà hartley.

Collegamenti

Argomenti: Distribuzioni probabilita
Concetti: Entropia · Variabile aleatoria
Competenze: Modellizzare
Persone: Shannon