Che cos’è il campionamento nella ricerca?

Definizione di campionamento (e i 5 termini da non sbagliare)

Il campionamento è il processo con cui si seleziona un gruppo più piccolo (un campione) da un gruppo più grande (una popolazione) per conoscere la popolazione senza misurare tutti. Uno studio sull’intera popolazione spesso non è praticabile, quindi i ricercatori campionano per rendere il lavoro fattibile senza rinunciare a conclusioni utili.

I cinque termini qui sotto fanno gran parte del lavoro in qualsiasi capitolo di metodologia. Se li sbagli, ogni decisione successiva eredita l’errore.

• warning
  Popolazione: l’intero gruppo che vuoi descrivere, definito con confini e un intervallo di tempo. “Tutti gli studenti dell’ultimo anno di infermieristica nelle tre sedi, iscritti al 1º marzo” è una popolazione. “Gli infermieri” no.
• warning
  Popolazione obiettivo e popolazione accessibile: chi vuoi descrivere e chi il tuo reclutamento e i tuoi strumenti possono raggiungere davvero. Indicare lo scarto tra le due è un punto di forza in una relazione, non una debolezza.
• warning
  Lista di campionamento: l’elenco o il meccanismo da cui estrai. Un registro degli studenti, un registro dei pazienti, un database clienti, un elenco delle famiglie di un villaggio, una lista elettorale. I problemi della lista creano errori di copertura e nessun metodo li ripara.
• warning
  Unità di campionamento: ciò che viene effettivamente selezionato. Una persona, una famiglia, un ambulatorio, una classe, un turno, un ordine. Nei disegni a grappolo e a più stadi l’unità del primo stadio è un gruppo, e il gruppo si chiama unità primaria di campionamento.
• warning
  Disegno di campionamento: l’intero piano messo per iscritto. Lista, metodo, quante unità, come vengono contattate e che cosa farai con le persone che non rispondono. Il “disegno di campionamento” è ciò che un esaminatore o un revisore ti sta davvero chiedendo quando ti fa domande sul tuo campionamento.

Per una breve definizione ufficiale della stessa idea, consulta la nota formativa sul campionamento dello U.S. Office of Research Integrity.¹ Se stai inserendo il campionamento in un piano di studio più ampio, la nostra guida al disegno di ricerca dell’indagine copre i passaggi che lo precedono e lo seguono.

Perché campionare, e quando un censimento è la risposta migliore

Il bisogno di campionare è pratico prima ancora che statistico. Quattro ragioni ricorrono di continuo.

1. Costo

   Ogni partecipante in più costa denaro, tempo del personale o buona volontà. Un campione ben estratto di 600 persone può rispondere alla stessa domanda di un tentativo mal gestito su 60.000.

2. Velocità

   Le decisioni hanno delle scadenze. Un campione ti dà una risposta entro la finestra in cui quella risposta è ancora utile.

3. Fattibilità

   Alcune popolazioni non si possono enumerare affatto: i passanti di un mercato, le persone che hanno abbandonato un servizio, i venditori informali. Altre sono di fatto infinite, oppure misurare un’unità la distrugge.

4. Qualità

   Questa sorprende molti. Concentrare l’impegno su un gruppo più piccolo ti permette di sollecitare chi non risponde, formare bene gli intervistatori e controllare i dati. L’impegno per unità vale di solito più del numero di unità.

Un censimento, invece, misura tutti. È la scelta migliore quando la popolazione è abbastanza piccola da essere raggiunta, quando i recapiti esistono già o quando ogni membro ha il diritto di essere interpellato. Un questionario per i dipendenti in un’organizzazione di 200 persone è una questione di censimento, non di campionamento. Lo stesso vale per la valutazione di una classe. Quando la popolazione è piccola, il campionamento non ti fa guadagnare quasi nulla e ti toglie la possibilità di riportare i risultati per team.

Com’è davvero un buon campione

I manuali descrivono un buon campione come “rappresentativo”, ma questo non è un criterio operativo. Queste quattro proprietà invece lo sono.

• Copertura: chiunque appartenga alla popolazione obiettivo avrebbe potuto, in linea di principio, essere selezionato.
• Selezione controllata: chi entra nel campione lo decide una regola, non chi si offre volontario o chi è più vicino alla porta.
• Unità sufficienti nel gruppo più piccolo che devi riportare: un numero complessivo può sembrare solido mentre il gruppo che ti interessa davvero si regge su 11 risposte.
• Descrivibile: puoi mettere per iscritto esattamente come è stato estratto, e qualcun altro potrebbe ripeterlo.

Per una spiegazione in linguaggio semplice di come i campioni sostengono le stime sulla popolazione, la panoramica dello U.S. Census Bureau sul campionamento e l’inferenza nelle indagini è un buon punto di partenza.²

La lista di campionamento fissa il tuo limite massimo

Una lista di campionamento è l’elenco o il meccanismo concreto da cui estrai. È la parte del campionamento di cui si parla meno e il punto in cui la maggior parte degli studi reali va storta senza che nessuno se ne accorga, perché la lista decide chi poteva anche solo essere selezionato.

Le liste sono oggetti comuni. Un registro degli studenti, un registro dei pazienti, un elenco del personale, un database clienti. Un elenco di villaggi con il numero di famiglie, una lista elettorale, una serie di ordini, un elenco degli ambulatori di un distretto. Nota che alcune liste elencano persone e altre elencano luoghi. Questa distinzione decide quali metodi puoi usare.

Verifica la lista prima di estrarre, non dopo. Conta le righe. Confronta quel conteggio con qualsiasi totale indipendente che riesci a trovare, come l’organico dell’ufficio del personale o il numero di iscritti. Cerca il segmento che più ti imbarazzerebbe aver tralasciato e controlla che ci sia. Elimina i duplicati. Scrivi che cosa la lista esclude, perché quella frase va comunque nei tuoi limiti.

I 9 metodi di campionamento a confronto

I metodi di campionamento si dividono in due famiglie. Il campionamento probabilistico usa un meccanismo casuale, quindi ogni unità della lista ha una probabilità di selezione nota e diversa da zero. Il campionamento non probabilistico no, quindi le probabilità di selezione sono ignote. Tutto il resto discende da questa sola distinzione.

La seconda colonna è quella che la maggior parte delle guide tralascia, per questo qui viene prima. Solo un disegno probabilistico sostiene un margine di errore, un intervallo di confidenza o la frase “più o meno 5 punti”. Se un metodo lì dice no, puoi comunque imparare molto da esso. Semplicemente non puoi pubblicare un dato di precisione accanto al risultato. La precisione in sé è un altro discorso, trattato nella nostra guida alla dimensione del campione.

Come leggere la tabella: i primi cinque metodi sono disegni probabilistici e gli ultimi quattro no. È questa sola divisione, non i nomi dei singoli metodi, a decidere se un dato di precisione è onesto.

I metodi di campionamento probabilistico, uno per uno

Il campionamento probabilistico significa che ogni unità della lista ha una probabilità nota e diversa da zero di essere selezionata, e che a selezionare è un meccanismo casuale. È l’unica base per dire qualcosa di numerico sulla popolazione. Cinque disegni coprono quasi tutti gli studi reali. Le rassegne della ricerca clinica e sanitaria trattano la stessa famiglia con etichette leggermente diverse, e conviene sapere perché prima di incontrarle entrambe: ciascuna delle due citate qui fa rientrare il campionamento a più stadi in quello a grappolo invece di elencarlo a parte.³⁴

Campionamento casuale semplice

Il campionamento casuale semplice dà a ogni unità dell’elenco esattamente la stessa probabilità di selezione. Numeri l’elenco, generi numeri casuali e prendi le unità su cui cadono.

Esempio svolto. Il registro di un’università contiene 12.000 studenti iscritti e ti servono 400 risposte. Numera il registro da 1 a 12.000, genera 400 numeri casuali distinti in quell’intervallo con un foglio di calcolo o un software statistico e invita quegli studenti. Se prevedi un tasso di risposta del 40 per cento, estrai e invita 1.000 studenti, così 400 risposte complete diventano realistiche.

Dove non funziona. Con 400 risposte distribuite su un registro di 12.000 studenti, un dipartimento di 300 studenti contribuisce con circa 10 persone. Non bastano per riportare un risultato. Se un sottogruppo deve comparire nei tuoi risultati, il campionamento casuale semplice è lo strumento sbagliato e la soluzione è il campionamento stratificato.

Annota come hai randomizzato. Il software usato, il seme se c’era, e la data. Quella sola frase rende l’estrazione riproducibile, e i revisori la chiedono davvero.

Campionamento sistematico

Il campionamento sistematico prende un’unità ogni k da un elenco ordinato, dopo un inizio casuale. Dividi la dimensione dell’elenco per il numero che ti serve per ottenere l’intervallo k, scegli un numero casuale tra 1 e k come punto di partenza, poi procedi contando in avanti.

Esempio svolto. Un ospedale distrettuale registra 9.000 visite ambulatoriali in un trimestre e vuole 600 interviste all’uscita. L’intervallo è 9.000 diviso 600, quindi k è uguale a 15. Scegli un inizio casuale tra 1 e 15, per esempio 7, poi intervista le visite 7, 22, 37, 52 e così via. Una squadra sul campo può seguire questa regola senza un portatile, ed è questo il vero motivo per cui il metodo sopravvive.

Dove non funziona. Periodicità. Se l’elenco ha un ciclo ripetuto che coincide con k, campioni ogni volta la stessa posizione. Un elenco di visite ordinato per giorno di ambulatorio con un ciclo di 7 giorni e un intervallo di 7 ti darebbe un solo giorno della settimana e nient’altro. Controlla l’ordinamento prima di fissare k, e mescola l’elenco se l’ordine è legato a ciò che misuri.

Campionamento stratificato

Il campionamento stratificato divide la popolazione in gruppi che non si sovrappongono, chiamati strati, poi estrae un campione casuale all’interno di ogni strato. È il miglioramento più utile a disposizione della maggior parte degli studi, perché garantisce che ogni gruppo su cui devi riportare i risultati compaia davvero.

Esempio svolto, con i calcoli. Un’organizzazione ha 4.200 dipendenti in sei province e le servono 600 risposte.

• Allocazione proporzionale. Una provincia con 1.400 dipendenti rappresenta 1.400 diviso 4.200, cioè un terzo del personale, quindi riceve un terzo di 600, cioè 200 risposte. Una provincia con 210 dipendenti riceve 210 diviso 4.200 per 600, cioè 30 risposte. Ogni provincia è rappresentata in proporzione alla sua dimensione e in fase di analisi non serve alcuna ponderazione.
• Allocazione non proporzionale, detta anche sovracampionamento. Trenta risposte sono troppo poche per riportare separatamente quella piccola provincia. Quindi ne prendi deliberatamente 80 e riduci la provincia più grande per compensare. Ora le probabilità di selezione variano tra le province, quindi devi ponderare i dati riportandoli alle proporzioni reali prima di citare qualsiasi dato relativo all’intera organizzazione. Saltare questo passaggio è in assoluto l’errore più comune nel campionamento stratificato.

Scegliere gli strati. Scegli variabili legate al risultato o a chi è probabile che risponda, e che siano già presenti nella tua lista. Regione, sede, ruolo, fascia di anzianità, corso, tipo di piano e fascia d’età sono i candidati abituali. Gli strati che non hanno nulla a che fare con il risultato aggiungono lavoro amministrativo e non danno precisione. Se la variabile di raggruppamento manca nella tua lista, potresti doverla raccogliere direttamente nel questionario. La nostra guida alle domande demografiche spiega come chiedere queste variabili senza perdere partecipanti.

Campionamento a grappolo

Il campionamento a grappolo seleziona a caso interi gruppi naturali e poi coinvolge nell’indagine tutti i membri dei gruppi selezionati. Ti serve un elenco dei gruppi, non delle persone: è per questo che esiste.

Esempio svolto. Un distretto ha 180 scuole primarie e nessun elenco centrale degli alunni. Selezioni a caso 24 scuole e somministri il questionario a tutti gli alunni dell’8º anno di ciascuna. Hai fatto 24 visite scolastiche invece di 180, e per iniziare non ti è mai servito un registro degli alunni.

Che cosa paghi in cambio. Gli alunni della stessa scuola si somigliano tra loro più di quanto somiglino agli alunni del resto del distretto. Quindi ogni alunno in più di una scuola già scelta aggiunge meno informazione nuova di quanta ne aggiungerebbe un alunno indipendente. Il tuo numero effettivo di risposte è più piccolo del tuo numero reale di risposte. Questa inflazione è l’effetto del disegno, e va prevista nel piano invece di scoprirla in fase di analisi.

Dove non funziona. Troppo pochi grappoli. Sei scuole scelte a caso possono essere molto diverse tra loro, e il risultato oscilla a seconda di quali sei hai estratto. Più grappoli con meno persone ciascuno è quasi sempre meglio del contrario.

Campionamento a più stadi

Il campionamento a più stadi seleziona in due o più stadi: prima i gruppi, poi le unità all’interno dei gruppi selezionati, e a volte un terzo stadio all’interno di queste. Quasi tutte le indagini nazionali sulle famiglie nel mondo sono costruite così.

Esempio svolto. Seleziona 120 circoscrizioni dall’elenco nazionale delle circoscrizioni. In ogni circoscrizione selezionata, una squadra sul campo elenca le famiglie sul posto, poi ne seleziona 20 a caso. In ogni famiglia selezionata, un adulto viene scelto a caso invece di lasciare la risposta a chi apre la porta. Sono tre stadi, e l’ultimo conta: lasciare che sia la famiglia a decidere chi risponde reintroduce proprio il bias di selezione che il disegno doveva evitare.

Che cosa paghi in cambio. Persone diverse finiscono per avere probabilità di selezione diverse, quindi l’analisi richiede pesi, e il calcolo della varianza deve tenere conto del raggruppamento a ogni stadio. È un disegno vero e proprio, che richiede qualcuno in grado di condurre un’analisi ponderata. Se nessuno nel progetto ne è capace, scegli un disegno più semplice piuttosto che uno a più stadi senza ponderazione.

Campionamento stratificato o a grappolo: la differenza in una riga

Questi due vengono confusi di continuo, perché entrambi iniziano dividendo la popolazione in gruppi. La differenza sta in quello che fai dopo.

I metodi di campionamento non probabilistico, uno per uno

Il campionamento non probabilistico significa che le probabilità di selezione sono ignote, perché nessun meccanismo casuale ha deciso chi è stato scelto. È la scelta giusta in quattro situazioni. Non riesci a costruire una lista utilizzabile. Il gruppo è nascosto. La velocità conta più della precisione. Oppure la domanda riguarda il significato più che la dimensione.

Questi metodi non sono di serie B. Rispondono a una domanda diversa. L’errore non è mai usarli, è usarli e poi scrivere una frase che solo un campione probabilistico potrebbe sostenere.

Campionamento di convenienza

Il campionamento di convenienza, detto anche campionamento per disponibilità, recluta chi è più facile da raggiungere. Un pop-up su un sito web, un link in una newsletter, gli studenti della tua classe, le persone che passano davanti a un banco del mercato.

Esempio. Un negozio inserisce un link per il feedback sullo scontrino. Tutti quelli che rispondono hanno comprato qualcosa, avevano con sé un telefono, avevano tempo e avevano un motivo per prendersi il disturbo. Ognuno di questi filtri elimina una parte diversa della clientela.

Uso onesto. Fare uno studio pilota di un questionario, generare ipotesi, scoprire il linguaggio che usano i clienti, verificare che una domanda venga capita. Tutti usi eccellenti. Nessuno di questi richiede una stima sulla popolazione.

Campionamento per quote

Il campionamento per quote fissa obiettivi di reclutamento per gruppi definiti e li riempie. Quaranta in aree rurali e sessanta in aree urbane. Cinquanta donne e cinquanta uomini. Venti in ciascuna di cinque fasce d’età.

Esempio. Un team di ricerche di mercato ha bisogno di 500 risposte che rispecchino la ripartizione nazionale per età, genere e regione, e non ha un elenco della popolazione. Recluta finché ogni cella non è piena.

Perché non è comunque un campionamento probabilistico. Le quote controllano la forma del campione, non la selezione delle persone che lo compongono. Chi recluta continua a scegliere, e le persone facili da avvicinare sono sistematicamente diverse da quelle che non lo sono. Un campione può corrispondere perfettamente alla popolazione per età e genere ed essere comunque molto lontano dalla realtà sugli atteggiamenti, perché età e genere non erano mai le variabili che causavano il danno.

Campionamento ragionato

Il campionamento ragionato, detto anche campionamento a scelta ragionata, seleziona deliberatamente i casi che rispondono a criteri dichiarati. Le varianti più comuni sono la selezione di casi tipici, di casi estremi, di casi critici, a massima variazione e di esperti.

Esempio. Uno studio su come viene usato un nuovo sistema di pagamento seleziona otto persone. Due che lo usano ogni giorno, due che ci hanno rinunciato, due che non l’hanno mai adottato e due addetti dell’assistenza che gestiscono i reclami. Quella varietà è scelta di proposito, e il ragionamento è il metodo.

Uso onesto. La maggior parte della ricerca qualitativa. Qui il criterio non è la casualità. È se sai dire perché proprio questi casi e non altri, e se la gamma di punti di vista è abbastanza ampia da sostenere le tue affermazioni.

Campionamento a valanga

Il campionamento a valanga recluta un piccolo numero di partecipanti che poi segnalano altre persone che rispondono ai criteri, e queste ne segnalano altre ancora.

Esempio. Uno studio sui venditori transfrontalieri informali parte da quattro partecipanti individuati tramite un’associazione locale, e ciascuno ne presenta altri due. Non esiste un registro dei venditori informali, quindi nessun metodo basato su una lista è disponibile.

Che effetto ha sul tuo campione. Omofilia. Le persone segnalano persone simili a loro. Il campione scivola verso una sola rete sociale e si allontana dai membri isolati della popolazione, che spesso sono proprio quelli che la ricerca ha più bisogno di ascoltare. Partire da diversi punti di partenza non collegati tra loro invece che da uno solo riduce lo scivolamento ma non lo elimina.

Come rendere difendibile un campione non probabilistico

La maggior parte delle guide si ferma a “non puoi generalizzare” e lascia il lettore a piedi, perché la maggior parte dei lettori sta conducendo proprio questo tipo di studio. Ecco la parte che di solito manca.

• Descrivi il reclutamento, non solo il nome del metodo. Dove è stato pubblicato il link, in quali date, chi lo ha visto, se è stato offerto un incentivo e quante persone sono state contattate rispetto a quante hanno risposto. È questo che permette a chi legge di giudicare il campione invece di tirare a indovinare.
• Confronta il campione ottenuto con un riferimento noto e pubblica il confronto. Se la tua organizzazione è composta per il 60 per cento da personale sul campo e i tuoi partecipanti lo sono per il 25 per cento, dillo in una tabella. Uno squilibrio dichiarato è un risultato. Uno nascosto è un difetto.
• Sappi che cosa la ponderazione può fare e che cosa no. Correggere i dati perché le caratteristiche demografiche corrispondano alla popolazione può rimediare a uno squilibrio visibile. Non può rimediare alle persone che differiscono dai partecipanti per qualcosa che non hai misurato, e non trasforma mai un campione non probabilistico in uno che sostiene un’affermazione di precisione.
• Cambia la frase, non le statistiche. Invece di “il 38 per cento dei clienti è insoddisfatto, più o meno 4 punti”, scrivi “il 38 per cento dei 620 clienti che hanno risposto si è dichiarato insoddisfatto. I partecipanti sono stati reclutati tramite un avviso nell’app nell’arco di due settimane e non sono un campione casuale dei clienti.” La seconda frase è più breve, più utile e inattaccabile.

Il lavoro qualitativo ha un proprio vocabolario per questo. Un protocollo di solito chiede una motivazione più che un obiettivo numerico. Dovrebbe indicare il numero previsto e la gamma di punti di vista, una distinzione che la guida della University of Bath spiega in modo conciso.⁵

Abbina il metodo alla situazione

Sei situazioni, sei metodi. Decidi prima di aprire la risposta. È il modo più rapido per capire se la tabella qui sopra è stata davvero assimilata.

Come scegliere un metodo di campionamento

La maggior parte degli studi non fallisce perché qualcuno ha scelto la tecnica sbagliata. Fallisce perché la tecnica non era adatta alla lista, alla decisione da prendere o a ciò che la squadra sul campo poteva realisticamente fare. Tre domande risolvono la questione quasi sempre.

1. Parti dall’affermazione che devi fare

   Scrivi la frase che vuoi pubblicare, prima di scegliere qualsiasi cosa. “Il sessantadue per cento dei nostri clienti ci consiglierebbe” e “i clienti che se ne vanno descrivono tre problemi ricorrenti” sono frasi diverse che richiedono disegni diversi. Se nessuno tratterà il risultato come un dato sulla popolazione, hai molta più libertà di quanto pensi.

2. Verifica la lista prima di impegnarti

   Riesci davvero a elencare la popolazione, o un suo equivalente molto vicino? Se no, riesci a elencare i gruppi a cui appartiene? Rispondere a questa sola domanda elimina subito la maggior parte dei nove metodi, ed è per questo che viene per seconda e non per ultima.

3. Indica i sottogruppi che devi riportare

   Se un risultato deve comparire per ogni regione, sede o ruolo, questo orienta il disegno verso strati o quote. Determina anche quante risposte ti servono in ogni gruppo. Deciderlo dopo la rilevazione sul campo non è più rimediabile.

4. Confronta il disegno con la realtà sul campo

   Tempo, budget, contattabilità, accesso linguistico, alfabetizzazione, connettività e politica sugli incentivi decidono che cosa è realizzabile. Un disegno che la squadra sul campo non riesce a seguire diventa un campionamento di convenienza con un nome formale, il che è peggio che scegliere onestamente il campionamento di convenienza. Pianificare un reclutamento inclusivo riduce la sottorappresentazione sistematica.⁶ Una volta selezionato il campione, usa un generatore di questionari online per preparare il questionario e inviarlo alle persone scelte dal tuo piano di campionamento. Condividere un link pubblico senza restrizioni cambia chi può rispondere: non preserva un campione casuale.

Dove i campioni cedono davvero: copertura, selezione e mancata risposta

La selezione è la parte che preoccupa tutti e quella che va storta meno spesso. Il danno di solito avviene prima della selezione, nella lista, oppure dopo, in chi si prende la briga di rispondere. Entrambi producono fogli di calcolo dall’aspetto pulito e conclusioni sbagliate.

Il fallimento di campionamento più famoso aveva 2,4 milioni di partecipanti

Nel 1936 il Literary Digest previde che Alf Landon avrebbe ottenuto circa il 55 per cento dei voti. Franklin Roosevelt vinse con circa il 61 per cento.⁷ La rivista aveva spedito 10 milioni di schede e ne aveva ricevute indietro circa 2,4 milioni, un tasso di risposta del 24 per cento a cui nessun sondaggio nazionale di oggi si avvicina.⁸ Il sondaggio collocò Roosevelt venti punti sotto la sua quota reale, su un campione di due milioni e mezzo di persone.

Il numero che dovrebbe comparire in ogni pagina sul campionamento. Una successiva rianalisi calcolò il margine di errore campionario delle stime del Digest a livello di singolo stato: andava da 0,18 a 2,3 punti percentuali, con una mediana di 0,6.⁸ Un dato di precisione di più o meno mezzo punto, sopra un errore di venti punti. Nulla dimostra in modo più netto che un margine di errore misura solo uno dei tanti modi in cui un’indagine può sbagliare.

E la spiegazione classica è giusta solo a metà. A tutti viene insegnato che il Digest campionò proprietari di auto e abbonati al telefono, che erano ricchi e repubblicani. Una verifica empirica di questa tesi ha usato un sondaggio Gallup del maggio 1937. Le persone che possedevano sia un’auto sia un telefono si schieravano comunque per Roosevelt, 55 a 45. Tra tutti quelli che dissero di aver ricevuto una scheda del Digest, Roosevelt era in testa 55 a 44. La lista pendeva verso i repubblicani, ma non abbastanza da produrre una valanga di voti per Landon.⁷

La metà mancante è la mancata risposta. Tra chi disse di aver restituito la scheda, Landon era in testa 51 a 48. Tra chi non l’aveva restituita, Roosevelt era in testa 69 a 30. La scomposizione approssimativa attribuisce circa undici punti dell’errore alla lista e circa sette alla mancata risposta differenziale.⁷ Ponderare le schede restituite su una domanda che il Digest aveva già posto, come avevi votato nel 1932, avrebbe indicato il vincitore giusto con l’aritmetica disponibile nel 1936.⁸

Un alto tasso di risposta non è l’obiettivo che pensi

I tassi di risposta dei sondaggi telefonici del Pew Research Center sono scesi dal 36 per cento del 1997 al 9 per cento nel 2012, e al 6 per cento nel 2018.⁹ Nel frattempo la National Family Health Survey dell’India, condotta faccia a faccia, ha selezionato 664.972 famiglie e ne ha trovate abitate 653.144. Ne ha intervistate 636.699, un tasso di risposta del 97,5 per cento. Leggi con attenzione quel denominatore, perché è il punto in cui un tasso di risposta sbaglia più spesso: rispetto al numero di famiglie selezionate invece che a quello delle abitate, la stessa rilevazione risulta al 95,7 per cento. L’indagine ha estratto il campione da 30.456 grappoli in tutti i 707 distretti.¹⁰

Questi due fatti appartengono allo stesso decennio. La modalità e l’impegno sul campo influenzano i tassi di risposta molto più di qualsiasi affermazione generale sulla stanchezza da questionari. Se una guida ti dice che il tasso di risposta medio è un certo numero preciso, non sta descrivendo una quantità reale.

Ora il risultato più scomodo. Una meta-analisi di 235 stime del bias di non risposta tratte da 30 studi pubblicati ha rilevato che la correlazione tra tasso di risposta ed entità del bias di non risposta era 0,33. Elevata al quadrato, significa che il tasso di risposta spiega circa l’11 per cento della variazione del bias.¹¹ Un’analisi successiva su 59 studi progettati appositamente per misurare il bias di non risposta è giunta alla stessa conclusione.¹²

Il tasso di risposta vale la pena di riportarlo e di migliorarlo. Non è un certificato di qualità. Ciò che causa il bias è se la propensione a rispondere è legata a ciò che misuri. Un’indagine sul volontariato ne soffre molto più di un’indagine sulla velocità della banda larga. Insegui la correlazione, non la percentuale.

Più risposte non possono riparare una lista difettosa

Durante la campagna vaccinale del 2021, due indagini molto grandi hanno monitorato l’adesione ai vaccini negli Stati Uniti. Una raccoglieva circa 250.000 risposte a settimana e ha sovrastimato l’adesione alla prima dose di 17 punti percentuali rispetto al riferimento ufficiale. L’altra ne raccoglieva circa 75.000 ogni due settimane e l’ha sovrastimata di 14. Una terza indagine su circa 1.000 partecipanti, condotta secondo la prassi probabilistica standard, ha prodotto stime affidabili.¹³

Lo stesso schema compare nel lavoro ordinario con i questionari. Confrontando tre panel probabilistici con tre fonti online ad adesione volontaria su 28 riferimenti e 29.937 interviste, l’errore assoluto medio era di 5,8 punti percentuali per i campioni ad adesione volontaria e di 2,6 per i panel probabilistici. Sui 25 di quei riferimenti disponibili per i sottogruppi, il divario per gli adulti tra i 18 e i 29 anni era di 11,2 contro 3,6.¹⁴

E una diagnosi memorabile: in un’indagine ad adesione volontaria, il 12 per cento degli adulti sotto i 30 anni ha dichiarato di avere l’abilitazione a guidare un sottomarino nucleare.¹⁵ Il dato reale è vicino allo zero. Se un panel può produrre questo, può produrre qualsiasi cosa, e ordinare un campione più grande allo stesso panel significa solo comprarne di più.

Chi manca nella tua lista, fuori da Stati Uniti e Regno Unito

La maggior parte delle guide al campionamento dà per scontata una lista occidentale: una mailing list, un telefono fisso, un registro nazionale degli indirizzi. Gran parte del mondo non campiona così, e le lacune di copertura hanno una forma misurata.

• Un’indagine online in un paese a reddito basso o medio è un campione della sua parte connessa, e quella parte è sbilanciata verso gli uomini. Nei paesi a reddito basso e medio le donne hanno il 14 per cento di probabilità in meno rispetto agli uomini di usare internet da mobile, il che corrisponde a circa 235 milioni di donne in meno online rispetto agli uomini.¹⁶
• I campioni telefonici sovrarappresentano i capifamiglia. Nelle indagini telefoniche della Banca Mondiale in quattro paesi africani, i partecipanti erano uomini al 52 per cento in Uganda e al 73 per cento in Nigeria, a fronte di circa la metà della popolazione adulta. In Uganda il 6 per cento dei partecipanti telefonici aveva tra i 15 e i 24 anni, contro il 38 per cento della popolazione adulta.¹⁷
• Che cosa fare. Combina più modalità invece di difenderne una sola. Elenca le famiglie sul posto dove non esiste un registro. Fai la rilevazione nelle lingue che la tua popolazione legge davvero, e fai un pretest della traduzione invece di ritradurla all’indietro. Poi dichiara la lacuna residua nei tuoi limiti, perché ci sarà ancora.

Che cosa la ponderazione può correggere e che cosa no

La ponderazione corregge i dati perché la composizione del campione corrisponda ai dati noti della popolazione. È davvero potente ed è regolarmente sopravvalutata.

Gli argomenti a favore. Nel 2016 l’ultimo sondaggio della University of New Hampshire dava Clinton avanti di 11 punti in una corsa che vinse con uno scarto di 0,4. Non era stato corretto per il livello di istruzione. La commissione di revisione concluse che questa sola correzione avrebbe eliminato sostanzialmente tutto l’errore.¹⁸ Una variabile, correlata sia con la risposta sia con il risultato, che fa tutto il lavoro.

Gli argomenti contro l’affidarsi a essa. Quando oltre 30.000 interviste online ad adesione volontaria sono state confrontate con 24 riferimenti, il bias medio stimato era di 8,4 punti percentuali senza ponderazione. Con tutte le procedure di ponderazione provate, compresi sofisticati metodi di abbinamento, nessuna ha portato il bias medio sotto i 6 punti.¹⁹ Quadruplicare la dimensione del campione ha fatto guadagnare altri 0,2 punti.

La regola che ne deriva è semplice. La ponderazione corregge lo squilibrio sulle variabili su cui ponderi, nella misura in cui quelle variabili sono legate al risultato. Non fa nulla per i modi in cui i partecipanti differiscono da chi non risponde per aspetti che non hai mai misurato, e non trasforma mai un campione non probabilistico in uno che sostiene un’affermazione di precisione.

Un dato di precisione è un minimo, non un massimo

Un margine di errore quantifica la variabilità campionaria, e soltanto quella. Presuppone che il campione sia stato estratto a caso dalla popolazione obiettivo e che il bias residuo sia stato eliminato. L’errore di copertura, il bias di non risposta, l’errore di misura e i partecipanti fraudolenti ne restano tutti fuori.

Le prove sono nette. Nelle ultime due settimane del 2020, 348 sondaggi presidenziali a livello di singolo stato riportavano un margine di errore, e il dato medio riportato era di 3,9 punti. Rispetto a quella media, il 55 per cento ha mancato il margine finale di più di un margine di errore, e il 21 per cento di più del doppio.²⁰ Erano sondaggi moderni con metodi moderni. Tratta il margine di errore come un minimo della tua incertezza, mai come un massimo.

Il livello A indica una statistica ufficiale, una meta-analisi o un risultato replicato. Il livello B indica un singolo studio solido la cui conclusione non è ancora stata ripetuta in modo indipendente.

Effetto del disegno: perché i campioni a grappolo richiedono più persone

Quasi tutte le guide consigliano il campionamento a grappolo per il risparmio che offre e si fermano lì. Il risparmio è reale, e lo è anche il conto da pagare. Le persone della stessa scuola, ambulatorio, quartiere o negozio si somigliano. Si somigliano più di quanto somiglino a persone scelte a caso in tutta la popolazione. Quindi ogni risposta in più da un gruppo che hai già scelto porta meno informazione nuova.

L’effetto del disegno è il numero che misura questo fenomeno. In parole semplici: di quanto si allarga la tua incertezza rispetto a estrarre lo stesso numero di persone in modo indipendente. Per un disegno con gruppi di uguale dimensione è

effetto del disegno = 1 + (dimensione media del gruppo - 1) x correlazione intraclasse

La correlazione intraclasse indica quanto si somigliano le persone di uno stesso gruppo rispetto a ciò che stai misurando. Zero significa che essere nella stessa scuola non dice nulla sulla risposta di un alunno. Uno significa che tutti in una scuola rispondono in modo identico, e tanto varrebbe considerare la scuola come una sola persona. I valori reali sono piccoli, ma i valori piccoli fanno molti danni quando i gruppi diventano grandi. Considerando insieme 48 indagini nazionali sulle famiglie, la correlazione intraclasse media è di circa 0,06. Varia a seconda di ciò che misuri. Gli item sulla fecondità vanno da circa 0,01 a 0,03, l’uso attuale di contraccettivi da 0,03 a 0,05, e i parti assistiti da personale sanitario arrivano fino a 0,22 nei dati nazionali.²¹

Se non hai una stima tua, prendi in prestito un valore predefinito con cautela. Il manuale di campionamento DHS ricorre a 1,5 per il deft quando un’indagine non ha un dato proprio.²² Il deft non è la stessa grandezza dell’effetto del disegno nella formula qui sopra: è il rapporto tra i due errori standard, mentre l’effetto del disegno è il rapporto tra le due varianze. Va elevato al quadrato, quindi un deft di 1,5 corrisponde a un effetto del disegno di 2,25. Il manuale definisce questo valore un ripiego, non un valore tipico, e i suoi esempi svolti usano 1,40 per l’uso di contraccettivi moderni e 1,22 per la vaccinazione infantile.

La ponderazione aggiunge una sua componente. Un’indagine nazionale che sovracampiona una regione e poi la ripondera porta con sé due effetti del disegno insieme. Un effetto di ponderazione di 1,22 e un effetto di raggruppamento di 1,80 danno un effetto del disegno complessivo di 2,20. Così 5.000 famiglie intervistate si comportano come 2.277 famiglie indipendenti.²³

La lezione per il disegno. Più gruppi con meno persone ciascuno battono meno gruppi con più persone ciascuno, quasi sempre. Quaranta scuole da 24 alunni e 24 scuole da 40 alunni costano più o meno le stesse 960 risposte, ma la prima soluzione ha un effetto del disegno più piccolo e un risultato difendibile. Se stai pianificando quante risposte ti servono in totale, calcolalo con la nostra guida alla dimensione del campione e poi moltiplica per l’effetto del disegno. Fare il contrario è il modo in cui gli studi a grappolo finiscono per avere una potenza insufficiente.

Tre esempi svolti, dall’inizio alla fine

I nomi dei metodi sono facili. È nelle decisioni intorno a essi che gli studi sbagliano davvero. Questi tre esempi portano un disegno reale dalla definizione della popolazione fino alla frase che puoi pubblicare.

Esempio 1: l’esperienza dei pazienti in un distretto

• Popolazione. Adulti che hanno avuto una visita ambulatoriale in uno qualsiasi dei 46 ambulatori pubblici del distretto tra il 1 aprile e il 30 giugno.
• Lista. Non esiste un registro dei pazienti per l’intero distretto. Esiste invece un elenco dei 46 ambulatori, con il numero mensile di accessi.
• Metodo. A più stadi. Seleziona 18 ambulatori con probabilità proporzionale agli accessi, poi campiona in modo sistematico un paziente ogni 8 in uscita durante due giorni di ambulatorio scelti a caso.
• Perché non qualcosa di più semplice. Un elenco completo dei pazienti permetterebbe un campionamento stratificato, ma non esiste e non si può costruire nei tempi previsti. Un campione di convenienza nei tre ambulatori più grandi sarebbe più rapido e descriverebbe i tre ambulatori più grandi.
• Che cosa va riportato. Le probabilità di selezione variano con la dimensione dell’ambulatorio, quindi l’analisi richiede pesi, e l’intervallo va ampliato per tenere conto dell’effetto del disegno.
• La frase pubblicabile. “Tra gli adulti che si sono rivolti agli ambulatori pubblici del distretto nel secondo trimestre, si stima che il 71 per cento abbia giudicato accettabile l’attesa, sulla base di 1.240 interviste all’uscita in 18 ambulatori selezionati con probabilità proporzionale agli accessi.”

Esempio 2: una tesi su una popolazione di studenti

• Popolazione. Studenti iscritti alla Facoltà di Economia nell’anno accademico in corso: 3.100 distribuiti su tre anni di corso.
• Lista. Il registro delle iscrizioni della facoltà, che riporta l’anno di corso e il corso di laurea.
• Metodo. Campionamento casuale stratificato per anno di corso, allocazione proporzionale, obiettivo 350 risposte complete.
• I calcoli. Il primo anno conta 1.300 studenti, cioè il 42 per cento di 3.100, quindi riceve il 42 per cento di 350, cioè 147 risposte. Ripeti per ogni anno. Poiché l’allocazione è proporzionale, non serve alcuna ponderazione.
• Pianificare le risposte. Con un tasso di risposta previsto del 35 per cento devi invitare circa 1.000 studenti per arrivare a 350 risposte complete, e conviene invitarli strato per strato, così una risposta debole in un anno si vede quando c’è ancora tempo per intervenire.
• Limiti da dichiarare. Gli studenti che si sono ritirati ma restano nel registro sono sovracopertura. Gli studenti iscritti dopo l’estrazione del registro sono sottocopertura. Entrambi vanno nel paragrafo sui limiti.

Esempio 3: il feedback dei clienti per un negozio online

• Popolazione. Clienti che hanno completato un ordine negli ultimi 90 giorni.
• Lista. La tabella degli ordini. È completa per gli ordini online e per gli acquisti come ospite, ma un cliente con due account compare due volte.
• Metodo. Elimina i duplicati per avere una riga per cliente, poi campionamento sistematico di un cliente ogni 12 dopo un inizio casuale, in modo continuo anziché in un unico blocco.
• La trappola che eviti. Invitare solo gli iscritti alla newsletter è più rapido ed è un campione di convenienza dei tuoi clienti più coinvolti. Farà sembrare la soddisfazione migliore di quanto sia, puntualmente, ogni trimestre.
• Una nota sui dipendenti. La stessa organizzazione che somministra un questionario ai suoi 180 dipendenti non dovrebbe campionare affatto. Quella popolazione è piccola, raggiungibile, e tutti hanno il diritto di essere interpellati. Fai un censimento e, se la partecipazione è scarsa, trattalo come un risultato e non come un problema di campionamento.

Come scrivere la parte sul campionamento della tua metodologia

È il passaggio che la maggior parte delle guide salta, ed è quello che un relatore, un revisore o un cliente legge davvero. La descrizione del campionamento deve rispondere a cinque domande in ordine: chi, da quale elenco, scelto come, quanti, e che cosa puoi quindi affermare.

Completa gli spazi qui sotto. È volutamente semplice: qui gli esaminatori non cercano una prosa elegante, cercano un disegno che possano valutare.

Lo stesso studio, scritto male e scritto bene

Debole. “È stato estratto un campione casuale di studenti e sono state raccolte 350 risposte.”

Qui non si può verificare nulla. “Casuale” fa un lavoro che non si è guadagnato, non c’è una lista, non c’è un denominatore e non si dice chi è stato escluso.

Solido. “La popolazione obiettivo erano i 3.100 studenti iscritti alla Facoltà di Economia nel 2026. La lista di campionamento era il registro delle iscrizioni della facoltà estratto il 3 marzo 2026. È stato usato un campionamento casuale stratificato per anno di corso con allocazione proporzionale, in modo da poter riportare ogni anno separatamente. Sono stati invitati mille studenti e 350 hanno completato il questionario, con un tasso di risposta del 35 per cento. Non è stata applicata alcuna ponderazione perché l’allocazione era proporzionale. Gli studenti ritirati dopo la data di estrazione sono rimasti nella lista e non è stato possibile identificarli, il che costituisce una fonte minore di sovracopertura.”

La seconda versione è più lunga, e ogni frase in più è una domanda che un revisore non deve più fare.

Checklist del piano di campionamento

Un piano di campionamento scritto evita la maggior parte degli errori evitabili, perché costringe a prendere le decisioni prima della rilevazione sul campo invece che durante l’analisi. Otto punti, una pagina.

Una volta definito il piano, è lo strumento a decidere se valeva la pena estrarre il campione. Un campione perfetto non può salvare una domanda tendenziosa o doppia, quindi conviene leggere qualche esempio di domande per questionari prima di avviare la rilevazione.

Domande frequenti

Letture correlate

Il campionamento è una decisione all’interno di uno studio più ampio. Queste guide coprono le decisioni che lo precedono e lo seguono.

• Disegno di ricerca dell’indagine colloca il campionamento nella sequenza del resto dello studio, dalla definizione della popolazione all’avvio.
• Come determinare la dimensione del campione tratta i calcoli sulla precisione che questa pagina lascia volutamente ad altri, formule comprese.
• Come scrivere le domande di un questionario tratta il lato della misura, che nessun disegno di campionamento può salvare.
• Principi di progettazione del questionario spiega come si assembla un intero strumento una volta che le domande esistono.
• Bias di risposta approfondisce la differenza tra le persone che hai selezionato e quelle che hanno risposto.
• Domande demografiche è utile quando la tua lista non contiene la variabile su cui ti serve stratificare.
• Significatività statistica spiega che cosa fare con i numeri una volta raccolto il campione.
• Analisi dei dati quantitativi tratta i passaggi di analisi successivi, compreso dove vanno applicati i pesi.

Come è stata scritta questa guida e che cosa non tratta

Chi l’ha scritta. Michael Hodge, che si occupa di metodologia delle indagini, progettazione delle domande e qualità dei dati in SuperSurvey, e scrive le guide pratiche della nostra sezione Guide e aiuto.

Su che cosa si basa. Le definizioni seguono la rassegna metodologica e le linee guida universitarie sulla ricerca citate qui sotto, che è dove i termini tecnici vengono effettivamente definiti. Le pagine ufficiali sull’integrità della ricerca e degli istituti di statistica sono indicate come brevi punti di partenza in linguaggio semplice, non come fonte di quelle definizioni. Le descrizioni dei metodi seguono le stesse rassegne e linee guida. Ogni numero della sezione sulle prove proviene da una fonte primaria indicata qui sotto. Ogni affermazione ha anche un livello di affidabilità, così puoi vedere quali risultati sono consolidati e quali si basano su un solo studio. I dati sull’effetto del disegno nel grafico e nella tabella sono calcoli nostri. Abbiamo usato la formula standard, con le ipotesi riportate nella didascalia, così puoi rifarli o contestarli con le dimensioni dei tuoi grappoli.

Che cosa non tratta. Questa guida riguarda il campionamento per indagini e studi osservazionali. Non tratta il disegno sperimentale né l’assegnazione casuale, se non per distinguerli. Lascia fuori anche il campionamento per il collaudo di accettazione, la revisione contabile e l’elaborazione dei segnali, che usano la stessa parola per cose diverse. Il campionamento guidato dai partecipanti, il campionamento tempo-luogo e il campionamento a grappolo adattivo sono metodi reali che gli specialisti usano per le popolazioni nascoste, e qui non vengono trattati. I dati sulla correlazione intraclasse provengono da indagini sulle famiglie in paesi a reddito basso e medio. Considerali illustrativi, non valori da trasferire in un contesto diverso.

Dove i numeri sono più deboli. La rianalisi del Literary Digest si basa su un solo sondaggio del 1937 e su una sola rianalisi successiva, ed entrambi gli autori segnalano la propria incertezza; per questo ha livello B. I dati sull’errore dei sondaggi provengono dai sondaggi elettorali degli Stati Uniti, che sono studiati in modo insolitamente approfondito e non sono necessariamente rappresentativi dell’errore delle indagini in generale.

Trasparenza. SuperSurvey vende software per questionari. Niente in questa pagina è in vendita, nessuna parte richiede la registrazione, e nessuna organizzazione ha sponsorizzato o revisionato questa guida. Quando rimandiamo alle nostre pagine è perché trattano la decisione successiva, non perché un link ci faccia guadagnare qualcosa.

Bibliografia