Hai ragione o torto? Come la statistica, tramite test e significatività, permette di valutare opinioni, ipotesi

Supponi che hai una opinione. Definiamo opinione altrimenti non stabilisco un terreno comune: parola che viene dal latino e significa concetto che una o più persone si formano riguardo particolari fatti, fenomeni, manifestazioni, quando, mancando un criterio di certezza assoluta per giudicare della loro natura (o delle loro cause, delle loro qualità ecc.), si propone un’interpretazione personale che si ritiene esatta e a cui si dà perciò il proprio assenso, ammettendo tuttavia la possibilità di ingannarsi nel giudicarla tale.

Quest’ultima frase della definizione si può discutere, perché non ho mai sentito una persona che ammette che in futuro cambierà idea, soprattutto un adulto.

Supponi che hai un’opinione. Ho definito cosa significa avere un’opinione. 

Esempi di opinioni

Vendo di più a clienti con tatuaggi 

Guadagno di più da quando il governo ha messo il bonus X

I clienti che vengono dal canale Y fanno guadagnare più di quelli che vengono dal canale Z

Gli uomini che ascoltano musica metal offrono meno le cene 

Come anticipato, un’opinione la puoi trasformare in ipotesi. L’ipotesi la puoi testare: ai tempi di Galileo Galilei bastava la sensata esperienza per verificare delle ipotesi, quando però le cose diventano più astratte non basta più. Rifiutare o accettare un’ipotesi o opinione, in statistica, risulta molto meno complicato che dimostrare un teorema, anche se il teorema risulta una realtà empirica che trascende lo spazio e il tempo, quindi ha peso molto maggiore di una significatività statistica. 

Come ho detto, nella statistica possiamo rifiutare o accettare un’ipotesi. Non appesantiró il discorso ampliando il lessico statistico del caso, ossia ipotesi nulla, alternativa, falsi positivi e falsi negativi, dico solo che in statistica vale un po’ il discorso “innocente fino a prova contraria”, traslando questo concetto legalese in statistichese: “media non diversa, correlazione inesistente, variabili inutili e modello inutile fino a prova contraria”. Facendo il punto della situazione, abbiamo un’opinione trasformata in ipotesi, a questo punto abbiamo un’ipotesi che noi possiamo testare facendo uno statistica test. Uno statistica test ci restituirà un punteggio da cui possiamo calcolare una significatività statistica.

Mi tocca dire cosa è e cosa non è una significatività in statistica.

Parto dal cosa non è. 

  • Innanzitutto non è una osservazione non dovuta al caso: con un’osservazione si può intendere sempre una media o una correlazione o una variabile inserita nel modello.
  • Sicuramente la significatività statistica non è l’oracolo di Delfi: l’oracolo era un essere o un ente considerato fonte di saggi consigli, di profezie che aveva anche la caratteristica della infallibilità. Qualcuno che conosce poco la statistica potrebbe vedere la significatività come un giudizio divino, immutabile. 

  • Inoltre la significatività statistica non è una prova del fatto che aumentando le osservazioni di un esperimento, indipendentemente da cosa stai misurando, avrai le stesse conclusioni in termini di significatività, ad esempio 0.05 o meno. Quindi se aumenti le osservazioni per verificare una media non è detto che la significatività rimane uguale, vale lo stesso per le correlazioni e anche per l’utilità nell’inserire variabili all’interno di un modello .
  • Altra cosa collegata a un punto precedente, la significatività statistica non è lo specchio delle brame: le significatività possono cambiare a seconda dello strumento, modello che usi, più che altro a seconda dello strumento. Purtroppo dei ricercatori e non utilizzano solo gli strumenti che confermano le loro ipotesi, producendo dei risultati in malafede. Ti faccio un esempio che su YouTube è saltato fuori spesso: le correlazioni col metodo classico (col valore p) hanno delle significatività, spesso con il metodo bayesiano parte di quelle significatività spariscono . Anche se il metodo bayesiano risulta più rigoroso di quello classico, se io faccio le correlazioni parziali col metodo classico, quindi quel metodo di correlazione lineare che mi permette di valutare la correlazione al netto dell’effetto delle altre variabili, mi restituiscono ancora una volta significatività diverse rispetto ai due metodi precedenti.

  • La significatività statistica non è un indicatore della relazione di causalità: questo richiede metodologie e strumenti particolarmente avanzati e non a caso nei miei video molto raramente, ma anche nel podcast, mi sentirai parlare di causalità. Al massimo dico che alcuni modelli cercano di esplorare questi rapporti di causalità e di solito cito il modello rete, il modello dei percorsi e il modello ad equazioni strutturali. Nota che l’ordine in cui ho menzionato questi modelli non risulta casuale. 

A questo punto, dopo che ho filtrato i non significati della significatività, scusami questo gioco di parole, ti dico cosa è una significatività o cosa significa significatività.

  • La significatività statistica di una variabile, nel caso di un modello, indica se la variabile ha un effetto significativo sulla variabile risposta, cioè se serve per spiegare la tua variabile di interesse, dopo aver considerato gli effetti di altre variabili. Ti accorgerai che nel dirti cos’è una significatività ho usato comunque effetto significativo: puoi sostituire quelle due parole con statisticamente rilevante o importante, scegli tu.

Nell’ambito della significatività classica o frequentista associamo la significatività al valore p,  quello che qualcuno ha chiamato il Sacro Graal della statistica classica, chiaramente ogni variabile, nel caso di un modello, ha associato il suo valore p. Il valore p va da 0 a 1 perché indica una probabilità. Lo si calcola sulla base della distribuzione di probabilità associata al test statistico utilizzato. Chi ci dice quali distribuzioni in probabilità risultano associate ad un tipo di test statistico? I teoremi ci danno questa risposta, quindi la teoria aiuta la pratica.  

In generale un valore p inferiore allo 0.05 indica una significatività statistica. Aggiungo che dipende anche dall’ambito perché ad esempio dei biologi, così come anche degli psicologi, stappano lo champagne appena vedono una significatività di questo tipo ed inondano la letteratura con pubblicazioni facilmente smontabili a causa di questo limite un po’ rigido, ma nel campo della fisica delle particelle hanno un livello molto più stringente. In genere io, se hai visto qualche mio video su YouTube, uso il BF che proviene dall’approccio bayesiano per quantificare una significatività, che ha una marcia di rigore in più rispetto l’approccio classico quindi meno rischi di trarre conclusioni errate. Il BF va da 0 a infinito quindi ha un’interpretazione leggermente più complicata del valore p del mondo classico.

Avere un indicatore di significatività quale il valore p o BF non basta per trarre conclusioni definitive: nell’episodio del podcast sul come può invecchiare la statistica, ti cito un controllo, l’analisi sequenziale, che vedi spessissimo anche nei miei video, che serve per tenere d’occhio come la significatività può cambiare col tempo o col numero di osservazioni. 

Veniamo alla parte più dolorosa di questo articolo: che limiti ha la significatività che deriva da uno statistica test? Sembra uno strumento così potente per verificare ipotesi e le opinioni, sicuramente avrà un tallone d’Achille. 

Sì ce l’ha: la quantità e qualità dei dati. Certe cose tipo la relatività generale di Einstein ha avuto le ultime conferme solo qualche anno fa tramite dei satelliti scientifici che hanno raccolto dei dati. Quindi certe opinioni, affermazioni, non si possono verificare o smentire perché manca il materiale su cui lavorare: i dati. Senza dati nessuna elaborazione, nessuna informazione, niente conoscenza (meglio se rigorosa).

In assenza di dati si possono comunque fare varie cose per tamponare la situazione ma comunque è una strategia che varia caso per caso, ad esempio inventarsi i dati secondo delle tecniche (di imputazione) ma qui si gioca col fuoco. Esistono anche strumenti per gestire la significatività con la presenza di dati estremi, variabili non considerate, variabili di interesse dove la gente mente più di frequente (le tre S: Sesso, Soldi, Sostanze), modelli non stabili, etc. 

Proprio perché le significatività possono cambiare a seconda di come indaghi i dati, o torturi, questo vale soprattutto per degli economisti, psicologi e biologi, hai un ulteriore motivo sul perché serve un professionista per valutare le significatività.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Privacy Policy
it_ITItalian