ELEMANIA
TLC - Informazione
Informazione: di cosa si tratta?

Parlando di sistemi di trasmissione abbiamo detto che trasmettitore e ricevitore si scambiano informazioni. Il termine informazione è di uso generale e il suo significato è abbastanza evidente di per sé, tuttavia non è altrettanto semplice definirlo precisamente.

E' chiaro che, a seconda dei contesti, l'informazione potrà essere costituita da una conversazione telefonica, una canzone trasmessa alla radio, un'immagine inviata attraverso internet etc. Ma cos'è l'informazione in generale? E, soprattutto, come si fa a misurarla?

Il matematico Norbert Wiener una volta scrisse che "l'informazione è informazione, non c'entra la materia o l'energia", intendendo con ciò significare che l'informazione è qualcosa di astratto, non legato alla natura fisica del segnale che la trasmette. Si pensi per esempio alla parola "AMORE". Possiamo leggere questa parola scritta a mano o stampata su un foglio di carta oppure la possiamo ascoltare pronunciata da qualcuno dal vivo o in televisione. L'informazione contenuta nella parola non dipende ovviamente da come la parola stessa viene trasmessa!

Gregory Bateson definì invece l'informazione come "una differenza che fa la differenza". Infatti l'informazione è legata alla presenza di una differenza percepibile: ad esempio la differenza fra il nero dell'inchiostro e lo sfondo bianco della pagina oppure quella fra il silenzio e un suono o fra i valori zero e uno di un bit. Questa differenza percepita da un osservatore "fa la differenza" perché aumenta la conoscenza del mondo che l'osservatore possiede. Si consideri l'esempio di quegli animali che avvisano i loro simili della presenza di un predatore emettendo grida di allarme. Qui la differenza (fra sentire e non sentire il grido) fa davvero la differenza (fra riuscire a fuggire in tempo o essere mangiati!).

La teoria dell'informazione di Shannon: informazione e probabilità

La definizione moderna di "informazione" è dovuta ancora una volta a Claude Shannon, il quale negli anni '40 sviluppò la cosiddetta teoria dell'informazione, cioè uno studio rigoroso e matematico del significato e della misura dell'informazione. Shannon comprese che l'informazione deve essere definita in generale, prescindendo dal contenuto specifico del messaggio trasmesso e che la quantità di informazione trasmessa non è legata necessariamente alle "dimensioni" del messaggio stesso. A questo proposito vale la pena di ricordare l'esempio del romanziere francese Victor Hugo il quale, volendo sapere come andavano le vendite del suo libro "I miserabili", scrisse al proprio editore una lettera contenente un solo carattere: "?". Al che l'editore rispose con una lettera altrettanto breve: "!" (significando, evidentemente, che le vendite andavano molto bene).

Shannon definisce più rigorosamente informazione come tutto ciò che è in grado di risolvere un'incertezza fra due o più possibili eventi.

Facciamo un semplice esempio. Supponiamo di voler organizzare un viaggio per il giorno successivo e di ricevere le seguenti previsioni (dal servizio meteo, da un amico o da un indovino):

  1. Domani sorgerà il sole.
  2. Domani pioverà.
  3. Domani ci sarà una tempesta di neve.

E' evidente che la frase "domani sorgerà il sole" non fornisce alcuna informazione utile, poiché si tratta di un evento certo. In altre parole, la frase non risolve nessuna incertezza poiché comunica un fatto certo.

Il contenuto informativo della seconda frase, "domani pioverà", è indubbiamente maggiore in quanto fornisce informazioni utili alla pianificazione del nostro viaggio (potremmo per esempio decidere di portare l'ombrello o di andare in auto invece che in moto). La terza frase, "domani ci sarà una tempesta di neve", è anche quella col contenuto informativo maggiore, poiché si riferisce all'evento meno probabile fra i tre: come conseguenza di questa informazione potremmo persino decidere di rinviare il nostro viaggio!

In altre parole la quantità di informazione è legata alla probabilità che si verifichi oppure no un certo evento.

Facendo ancora un esempio legato al clima, la previsione "domani sarà una bella giornata di sole" contiene poca informazione se riferita ad Atene in estate, mentre il suo contenuto informativo è molto più alto se stiamo parlando di Milano in inverno: come si vede la quantità di informazione è legata ancora alla probabilità che si verifichi un certo evento.

Un altro chiaro esempio in cui il valore di un informazione è legato alle probabilità di verificarsi di un evento è fornito dal mondo delle scommesse (quelle che in inglese si chiamano più precisamente fixed-odds betting). Qui il bookmaker assegna diverse probabilità ai vari possibili esiti di un dato avvenimento (un incontro sportivo, le elezioni politiche etc.) e accetta le puntate degli scommettitori ripagandole in base a quanto il risultato stesso è probabile. Per chiarire le cose, supponiamo che sia in programma una partita di calcio fra due squadre, A e B, delle quali una, es. la A, è nettamente favorita in quanto più forte, con un migliore piazzamento in classifica etc. In questo caso chi punta su A viene ripagato poco in caso di previsione azzeccata, mentre chi punta su B (la squadra sfavorita dai pronostici) viene ripagato molto di più dal bookmaker. Infatti la vittoria di B è un evento molto meno probabile della vittoria di A e dunque il suo valore informativo (e non solo: in questo caso si tratta anche di un valore economico per gli scommettitori) è molto maggiore.

La formula di Shannon per la misura dell'informazione

Shannon si occupò più specificamente di misurare il contenuto informativo dei simboli prodotti da una sorgente, per esempio un computer che invia una serie di caratteri a una stampante. La quantità di informazione I associata a un simbolo che ha probabilità P si può calcolare con la seguente formula:

I = log2(1/P)

Il valore risultante di I viene espresso in bit, se la base del logaritmo è due, come è uso comune. Come vedremo fra breve la scelta del nome dell'unità di informazione (bit) ha un significato pratico molto importante. Tuttavia per la teoria di Shannon la base usata per il calcolo del logaritmo non ha una particolare importanza: qualsiasi base andrebbe ugualmente bene. Tant'è che negli anni sono state usate e proposte altre basi, come la base 'e' (numero di Nepero) - e in questo caso l'unità di misura si chiama nat - oppure la base 10 (unità di misura detta Hartley).

Facciamo qualche semplice esempio. Se l'evento è certo (come nella frase "domani sorgerà il sole") la sua probabilità è 1 e il suo contenuto informativo è zero, infatti:

I = log2(1/1) = log2(1) = 0 bit

Viceversa per un evento poco probabile la probabilità P tende a zero, dunque 1/P tende all'infinito e così pure il logaritmo (e quindi I).

Dunque I assume in generale valori compresi fra zero e infinito:

0  ≤ I < ∞

Supponiamo ora di considerare il lancio di una moneta non truccata, per il quale dunque le probabilità dei risultati "testa" e "croce" siano entrambe uguali a 0,5. Qual è l'informazione che possiamo ottenere osservando il verificarsi di uno di tali due eventi (per esempio il risultato "testa")? Usando la formula di Shannon abbiamo subito:

I = log2(1/P) = log2(1/0,5) = 1 bit

Si noti che il valore di I ottenuto (cioè 1 bit) è esattamente uguale alla quantità di dati binari necessaria per trasmettere (o comunicare) il verificarsi oppure no di tale evento. In altre parole, dovendo comunicare il risultato (testa o croce) del lancio di una moneta non truccata, sarà sufficiente un solo bit (esempio 1=testa e 0=croce). Ovvero l'informazione calcolata con la formula di Shannon ci fornisce anche una misura delle dimensioni in bit del messaggio necessario per codificare tale informazione.

Facendo ancora un altro esempio, supponiamo di lanciare la nostra moneta 10 volte. Per calcolare l'informazione associata a 10 lanci consecutivi (oppure al lancio di 10 monete) dobbiamo considerare la probabilità che si verifichi una determinata combinazione di "testa" e "croce" su 10 lanci. Siccome gli eventi (i risultati di ogni lancio) sono indipendenti fra loro (cioè il risultato del lancio di una moneta non dipende dal risultato del lancio precedente), la probabilità di una singola combinazione di 10 risultati (esempio t-c-c-t-t-t-c-t) è il prodotto delle probabilità di ogni singolo lancio:

P10 = P1 x P2 x .... x P10 = (1/2)10

Dunque l'informazione associata a 10 lanci è:

I = log2(1/P10) = log2(210) = 10 bit

Osserviamo ancora che il risultato ottenuto ci dice che occorrono 10 bit per trasmettere la sequenza di testa e croce determinata da 10 lanci della nostra moneta.

La misura dell'informazione è soggettiva?

Il lettore curioso potrebbe a questo punto domandarsi se il calcolo dell'informazione fornito dalla formula di Shannon sia oggettivo oppure no. In altre parole, l'informazione è una proprietà intrinseca e oggettiva degli eventi osservati o dipende dalle scelte soggettive dell'osservatore? Due osservatori diversi attribuirebbero lo stesso contenuto informativo agli stessi eventi?

Poiché l'informazione dipende strettamente dalla probabilità P di un determinato evento, è evidente che la risposta dipende dall'oggettività o meno di tale calcolo delle probabilità. Senza voler qui approfondire troppo le questioni anche filosofiche legate a questo quesito, sembra però abbastanza chiaro che c'è una forte componente soggettiva nell'attribuzione delle probabilità associate ai possibili esiti di un evento.

Si pensi di nuovo al caso del bookmaker che deve attribuire le probabilità (e dunque le quote) ai risultati di un incontro sportivo. Egli si baserà sulle serie storiche (cioè sui passati incontri fra le due squadre) e sulla situazione attuale in campionato delle squadre stesse (es. la posizione in classifica) oltreché su tutta una serie di altre considerazioni varie (es. l'incontro si svolge in casa o in trasferta?) per determinare le probabilità. Tuttavia, anche se il calcolo deve basarsi su dati oggettivi, è evidente che la stima delle probabilità è legata al "modello", cioè alla rappresentazione soggettiva dell'evento da parte dell'osservatore. Per essere ancora più chiari: ben difficilmente tutti i bookmaker (a meno che si mettano d'accordo su un metodo comune di calcolo e di pesatura dei diversi fattori in gioco, metodo che sarebbe comunque in gran parte arbitrario) otterranno le stesse identiche probabilità per lo stesso evento sportivo.

La misura dell'informazione è dunque strettamente legata al "modello" (cioè alla descrizione della realtà) adottato dall'osservatore. La formula di Shannon non fornisce dunque una misura oggettiva dell'informazione, ma un metodo matematico univoco che lega l'informazione alla probabilità.

 

precedente - successiva

Sito realizzato in base al template offerto da

http://www.graphixmania.it