Il nome “entropia” scelto da Shannon non è un caso: la sua formula ha la stessa struttura di quella della termodinamica, e il ponte tra i due mondi è uno dei fili conduttori più affascinanti della matematica applicata.
Osservazione — Dal disordine termodinamico al disordine informatico
La formula di Shannon ha la stessa struttura della formula di Boltzmann (con = numero di microstati equiprobabili). Per questo motivo Shannon, su suggerimento di von Neumann, la chiamò “entropia” con la celebre giustificazione: “vincerai sempre i dibattiti perché nessuno sa davvero cosa sia l’entropia” (Shannon, 1948). È il filo conduttore di Borghi (Entropioni): la stessa grandezza descrive trasferimenti reversibili di energia, ottimalità dei codici di compressione, e l’incertezza di un esperimento aleatorio.
Collegamenti
Argomenti: Distribuzioni probabilita
Concetti: Entropia
Persone: Boltzmann · Shannon · Von Neumann