Docente
Pier Luigi Novi Inverardi
Obiettivi del corso
Lo scopo del corso consiste nell’affrontare lo studio dei fondamenti
della statistica teorica a partire dai principi primi del calcolo delle
probabilità. Sviluppi logici, dimostrazioni, idee e tematiche evolvono
attraverso argomentazioni statistiche che risultano essere naturali estensioni
e conseguenze dei concetti introdotti nella prima parte del corso.
Contenuti del corso
All’inizio del corso vengono ripresi alcuni elementi fondamentali del
calcolo delle probabilità (concetto di variabile e vettore casuale,
funzioni di variabile e vettore casuale, momenti e funzioni generatrici
dei momenti, campionamento, statistiche ordinate, convergenze), concetti
che costituiscono il necessario fondamento per quanto verrà poi
sviluppato in ambito inferenziale. Fatto ciò, vengono introdotti
due principi fondamentali di riduzione dei dati (sufficienza e verosimiglianza)
e viene posto l’accento sulle modalità del loro utilizzo nel processo
di costruzione e di validazione di modelli per i dati. La parte centrale
del corso è dedicata al cuore dell’inferenza statistica: la teoria
della stima e dei test statistici. Il materiale presentato, per comodità
didattica, viene suddiviso in due parti. Innanzitutto, sono presentati
alcuni tra i più diffusi ed importanti metodi per individuare appropriate
tecniche statistiche di stima e di verifica delle ipotesi (stima: metodo
plug-in, metodo dei momenti, metodo della massima verosimiglianza, metodi
di stima numerici quali Newton-Raphson e metodo dello scoring; test: test
basati sul rapporto di verosimiglianza). Successivamente, vengono studiate
in maniera approfondita le proprietà dei metodi inferenziali proposti
(non distorsione, consistenza, efficienza, sufficienza, Normalità
asintotica), le loro mutue relazioni e le relative performance. Al corso
è associato un laboratorio in cui, utilizzando un noto pacchetto
matematico-statistico, vengono implementate le soluzioni di alcuni complessi
problemi inferenziali trattati nella parte teorica del corso.
Bibliografia di riferimento
Cox, D.R. and Hinkley, D.V. (1974), Theoretical Statistics. Chapmann
and Hall, London.
Mood, A.M., Graybill, F.A. and Boes, D.C. (1974), Introduction to the
Theory of Statistics. McGraw-Hill, New York.
Rohatgi, V.K. (1976), Introduction to Probability Theory and Mathematical
Statistics. Wiley, New York.
Zacks, S. (1971), The Theory of Statistical Inference. Wiley, New York.
Programma dettagliato del corso
A) Richiami di Calcolo delle Probabilità e di Teoria delle Distribuzioni
Richiamo di alcuni importanti concetti in probabilità
Esperimento casuale, spazio campionario, classe degli eventi e sua generazione. Misura di probabilità. Lo spazio probabilistico. Dallo spazio probabilistico originario e a quello indotto da variabili (vettori) casuali: riflessi della trasformazione sulle principali strutture. Dalla funzione di probabilità a quella di distribuzione. Studio delle principali proprietà di quest’ultima e teoremi collegati (dimo).
Distribuzioni discrete e (assolutamente) continue
Funzione di massa e di densità e relazioni con la funzione di distribuzione. Teoremi di trasformazione di variabili e vettori casuali (dimo). Indipendenza stocastica. L’operatore valore atteso e le sue principali proprietà (dimo). I momenti di una distribuzione di probabilità: momenti centrali e dall’origine, significato, relazioni tra momenti.
La funzione generatrice dei momenti
Definizione e principali proprietà (dimo). Il problema dei momenti: analisi delle condizioni sotto cui l’insieme dei momenti (generatrice dei momenti) determina univocamente la distribuzione. Principali teoremi di caratterizzazione delle distribuzioni attraverso momenti e generatrice. Uso della funzione generatrice dei momenti per il calcolo della distribuzione di trasformate lineari di vettori casuali a componenti indipendenti. Proprietà di riproducibilità (dimo).
Alcune distribuzioni discrete
Distribuzione uniforme, di Bernoulli, binomiale, di Poisson, Geometrica.
Alcune distribuzioni (assolutamente) continue
Distribuzione rettangolare, esponenziale, Gamma, Normale univariata
e multivariata, chi quadrato, t di Student ed F di Snedecor
B) Inferenza statistica
Popolazione, schemi di campionamento e campione. Definizione di campione
casuale ed analisi delle conseguenze indotte sulla distribuzione congiunta
degli elementi costituenti il campione dalle condizioni di indipendenza
e di identica distribuzione. Uso dell’indipendenza per approssimare probabilità.
Definizione di statistica. Alcune statistiche di particolare importanza:
media campionaria, varianza campionaria e scarto quadratico medio. Definizione
ed analisi delle loro principali proprietà. Le distribuzioni campionarie:
la distribuzione della media campionaria (dimo via funzione generatrice
dei momenti).
Famiglie esponenziali e loro caratterizzazione. Ancora su famiglie
esponenziali, sulla loro caratterizzazione e importanza per l’inferenza.
Teorema di chiusura di famiglie esponenziali sotto trasformazioni lineari
(dimo). Indipendenza di media e varianza campionarie (dimo).
La distribuzione della varianza campionaria sotto campionamento da
popolazione Normale (dimo)
Principi di riduzione dei dati: sufficienza e verosimiglianza.
Il principio di sufficienza e le sue implicazioni inferenziali. Definizione
di statistica sufficiente. Il teorema di Halmos e Savage (dimo). Sufficienza
e famiglia esponenziale di distribuzioni. Il problema della generazione
di statistiche sufficienti a partire da una statistica sufficiente ovvero
la non unicità delle statistica sufficiente. Criteri di scelta nella
classe delle statistiche sufficienti per un dato problema parametrico:
il criterio della massima riduzione. Definizione di statistica sufficiente
minimale. Il teorema di Lehmann e Scheffé. (dimo). Relazioni tra
la dimensione dello spazio delle statistiche sufficienti minimali e quella
dello spazio parametrico.
Il principio di verosimiglianza quale principio per la riduzione dei
dati. Implicazioni inferenziali del principio di verosimiglianza: l’inferenza
fiduciaria
Stima puntuale
Definizione del problema e strategie di soluzione. Definizione di stimatore
e di stima. I metodi di stima puntuale.
Il metodo di stima dei momenti: inquadramento ed aspetti tecnici. Approssimazioni
di distribuzioni via metodo dei momenti (moment matching): il problema
di Satterthwaite.
Il metodo di stima della massima verosimiglianza. Definizione di stimatore
di massima verosimiglianza. Come ottenere stimatori di massima verosimiglianza:
tecniche legate alla derivazione e alla maggiorazione della funzione di
verosimiglianza. Massimi assoluti e relativi della funzione di verosimiglianza,
comportamento sulla frontiera e sensibilità numerica.
Soluzione numerica del sistema di equazioni di massima verosimiglianza:
principali problemi ed applicazioni. Teorema di invarianza degli stimatori
di massima verosimiglianza ( dimo).
Valutazione dei metodi di stima attraverso l’analisi delle principali
proprietà (ottimali) degli stimatori: non distorsione, efficienza,
consistenza, Normalità (asintotica), coerenza. La proprietà
di non distorsione e non distorsione asintotica.
Problemi regolari di stima. L’informazione attesa di Fisher: definizione,
proprietà e relazioni con la funzione di log-verosimiglianza quale
misura della curvatura locale di quest’ultima (dimo). Estensione al multivariato.
La disuguaglianza di Rao-Cramér (dimo). Efficienza assoluta
e relativa. Teorema di esistenza di stimatori efficienti nella classe degli
stimatori non distorti (dimo). Efficienza asintotica: definizione ed esempi.
Errore quadratico medio di uno stimatore: definizione e relazioni con
varianza e distorsione (dimo). Teorema di esistenza di stimatori efficienti
per famiglie esponenziali (dimo). La consistenza: definizione. Consistenza
debole, forte e in media quadratica ( e sottostanti processi di convergenza).
Proprietà di Normalità asintotica.
Proprietà degli stimatori ottenuti con il metodo dei momenti
(dimo).
Proprietà degli stimatori ottenuti con il metodo della massima
verosimiglianza: teorema di Cramér (univariato e multivariato) (dimo).
Confronto con proprietà degli stimatori ottenuti con il metodo
dei momenti
Verifica di ipotesi.
La verifica delle ipotesi statistiche. Il test statistico: definizione
e finalità. Il sistema delle ipotesi: ipotesi nulla ed ipotesi alternativa:
asimmetrie. Statistiche test (rapporto di verosimiglianza) e relative distribuzioni,
regione di accettazione e di rifiuto; Errori di prima e seconda specie.
Livello di significatività e funzione di potenza: definizione, struttura
e reciproche relazioni. Test di livello assegnato
Test secondo l'approccio di Neyman-Pearson e relativo lemma (dimo).
Il test del rapporto di verosimiglianza: ottenimento della statistica test,
distribuzione esatta ed asintotica Importanti esemplificazioni: test t
di Student ad un campione (bilaterale), test t di Student ad un campione
(unilaterale), analisi della varianza ad un criterio e conseguente generalizzazione
dei risultati precedenti.