Analisi delle componenti principali

Questa voce o sezione sull'argomento statistica è priva o carente di note e riferimenti bibliografici puntuali.

---

Sebbene vi siano una bibliografia e/o dei collegamenti esterni, manca la contestualizzazione delle fonti con note a piè di pagina o altri riferimenti precisi che indichino puntualmente la provenienza delle informazioni. Puoi migliorare questa voce citando le fonti più precisamente. Segui i suggerimenti del progetto di riferimento.

L'analisi delle componenti principali (in inglese principal component analysis o abbreviata PCA), anche nota come trasformata di Karhunen-Loève^[1], è una tecnica per la semplificazione dei dati di riduzione della dimensionalità lineare utilizzata nell'ambito della statistica multivariata.^[2] Questo metodo fu proposto per la prima volta nel 1901 da Karl Pearson e sviluppato poi da Harold Hotelling nel 1933, e fa parte dell'analisi fattoriale. La tecnica ha lo scopo principale di ridurre il numero più o meno elevato di variabili che descrivono un insieme di dati a un numero minore di variabili latenti, limitando il più possibile la perdita di informazioni.^[2]

La risoluzione lineare avviene tramite una trasformazione lineare delle variabili che proietta quelle originarie in un nuovo sistema cartesiano in cui la nuova variabile con la maggiore varianza viene proiettata sul primo asse, la variabile nuova, seconda per dimensione della varianza, sul secondo asse e così via.

La riduzione della complessità avviene limitandosi ad analizzare le principali, per varianza, tra le nuove variabili.

Diversamente da altre trasformazioni lineari di variabili praticate nell'ambito della statistica, in questa tecnica sono gli stessi dati che determinano i vettori di trasformazione.

Assumendo che a ciascuna delle variabili originarie venga sottratta la loro media e pertanto la nuova variabile ${\displaystyle (X_{i})}$ abbia media nulla,

${\displaystyle \mathbf {w} _{1}={\underset {\Vert \mathbf {w} \Vert =1}{\operatorname {\arg \,max} }}\,E\left\{\left(\mathbf {w} ^{T}\mathbf {x} \right)^{2}\right\},}$

dove arg max indica l'insieme degli argomenti ${\displaystyle w}$ in cui è raggiunto il massimo. Con le prime ${\displaystyle k-1}$ componenti, la ${\displaystyle k}$-esima componente può essere trovata sottraendo le prime ${\displaystyle k-1}$ componenti principali a ${\displaystyle X}$:

${\displaystyle \mathbf {\hat {x}} _{k}=\mathbf {x} -\sum _{i=1}^{k-1}\mathbf {w} _{i}\mathbf {w} _{i}^{T}\mathbf {x} }$

e sostituendo questo

${\displaystyle \mathbf {w} _{k}={\underset {\Vert \mathbf {w} \Vert =1}{\operatorname {arg\,max} }}\,E\left\{\left(\mathbf {w} ^{T}\mathbf {\hat {x}} _{k-1}\right)^{2}\right\}.}$

Un metodo più semplice per calcolare la componente ${\displaystyle \mathbf {w} _{i}}$ utilizza la matrice delle covarianze di ${\displaystyle \mathbf {x} _{i}}$. La stessa operazione può essere eseguita partendo dalla matrice dei coefficienti di correlazione anziché dalla matrice delle covarianze.^[3]

Innanzitutto si devono trovare gli autovalori della matrice di covarianza o della matrice dei coefficienti di correlazione. Si ottengono tanti autovalori quante sono le variabili ${\displaystyle \mathbf {x} }$. Se viene utilizzata la matrice di correlazione, l'autovalore relativo alla prima componente principale, ossia quella con varianza massima, sarà pari a ${\displaystyle 1}$. In ogni caso l'autovalore con il maggiore valore corrisponde alla dimensione ${\displaystyle \mathbf {w} }$ che ha la maggiore varianza: esso sarà dunque la varianza della componente principale 1. In ordine decrescente, il secondo autovalore sarà la varianza della componente principale 2, e così via per gli n autovalori. Per ciascun autovalore viene calcolato il corrispondente autovettore, ossia la matrice (riga vettore) dei coefficienti che moltiplicano le vecchie variabili ${\displaystyle \mathbf {x} }$ nella combinazione lineare per l'ottenimento delle nuove variabili ${\displaystyle \mathbf {w} }$. Questi coefficienti sono anche definiti loading. La matrice degli autovettori, ossia la matrice che ha per riga ciascun autovettore prima calcolato, è la cosiddetta matrice di rotazione ${\displaystyle V}$. Eseguendo l'operazione matriciale ${\displaystyle W=V\cdot X}$, dove ${\displaystyle W}$ è il vettore colonna avente come elementi le nuove variabili ${\displaystyle w_{1},\,w_{2},\,\ldots ,\,w_{n}}$ e ${\displaystyle X}$ è il vettore colonna avente come elementi le "vecchie variabili" ${\displaystyle x_{1},\,x_{2},\,\ldots ,\,x_{n}}$, si possono trovare le coordinate di ciascun punto nel nuovo spazio vettoriale. Utilizzando le coordinate per ciascun punto relative alle componenti principali si costruisce il grafico denominato score plot. Se le componenti principali sono 3 si avrà un grafico tridimensionale, se sono 2 sarà bidimensionale, se invece si è scelta una sola componente principale lo score plot sarà allora monodimensionale. Mediante lo score plot è possibile verificare quali dati sono simili tra di loro e quindi si può ad esempio dedurre quali campioni presentano la medesima composizione.

In PCA esiste anche un altro tipo di grafico, definito loading plot, in cui sono le variabili ${\displaystyle x}$ ad essere riportate nel nuovo sistema avente per assi le componenti principali. Con questo tipo di grafico è possibile osservare se due variabili sono simili, e pertanto forniscono lo stesso tipo di informazione, oppure se sono distanti (e quindi non sono simili).

Quindi gli elementi dell'autovettore colonna corrispondente a un autovalore esprimono il legame tra le variabili di partenza e la componente considerata attraverso dei pesi. Il numero di variabili latenti da considerare come componenti principali si fonda sulla grandezza relativa di un autovalore rispetto agli altri. Invece nel caso in cui sia l'operatore a scegliere le componenti principali senza considerare la relativa varianza espressa dai rispettivi autovalori, si ha un supervised pattern recognition.

Si può costruire la matrice dei fattori, in pratica una matrice modale, che elenca per riga le variabili originarie e per colonna le variabili latenti: ogni valore, compreso tra 0 e 1, dice quanto le seconde incidano sulle prime.

Invece la matrice del punteggio fattoriale ha la stessa struttura della precedente, ma dice quanto le singole variabili originarie abbiano pesato sulla determinazione della grandezza di quelle latenti.

Si supponga di disporre di un'indagine che riporta per 10 soggetti: voto medio (da 0 a 33), intelligenza (da 0 a 10), media ore studiate in un giorno e zona d'origine, che varia da 1 a 3. Si standardizzino i valori con la formula:

${\displaystyle z_{i}={\frac {x_{i}-\mu _{X}}{SD}},}$

dove ${\displaystyle \mu _{X}}$ è la media aritmetica di ${\displaystyle X}$ e ${\displaystyle SD}$ è la deviazione standard.

La matrice dei coefficienti di correlazione è:

La diagonale principale è composta da valori uguali a ${\displaystyle 1}$ perché è il coefficiente di correlazione di una variabile con sé stessa. La matrice è simmetrica perché il coefficiente di correlazione tra la variabile ${\displaystyle X}$ e la variabile ${\displaystyle Y}$ è uguale a quello tra ${\displaystyle Y}$ e ${\displaystyle X}$. Si vede come ci sia un forte legame tra voto, media ore studio e provenienza.

Dall'analisi degli autovalori si possono trarre conclusioni:

Gli autovalori sono in ordine decrescente e il loro rapporto con la somma degli autovalori dà la percentuale di varianza che rappresentano. Sono stati selezionati arbitrariamente solo quelli che hanno valore maggiore di ${\displaystyle 1}$ in quanto più significativi, che spiegano il 70,708% e il 26,755% rispettivamente.

Si osservi la matrice delle componenti principali:

Il fattore 1 pesa fortemente sul voto medio e, in maniera negativa, sulla variabile della zona di origine.

Si calcoli quindi la matrice di punteggio fattoriale:

Come si vede la variabile provenienza continua ad avere un influsso di segno negativo sull'autovalore principale. Le altre variabili invece hanno peso positivo.

• Sergio Bolasco, Analisi multidimensionale dei dati. Metodi, strategie e criteri d'interpretazione, 6ª ed., Roma, Carocci, 2014 [1999], ISBN 88-430-1401-3.
• Roberto Todeschini, Introduzione alla chemiometria, 1ª ed., Napoli, EdiSES, 2003, ISBN 88-7959-146-0.
• (EN) Stéphane Tufféry, Data mining and statistics for decision making, Wiley, 2011, ISBN 978-0-470-68829-8.

• Analisi della correlazione canonica
• Analisi fattoriale
• Riduzione della dimensionalità

• Wikimedia Commons contiene immagini o altri file sull'analisi delle componenti principali

V · D · M Apprendimento automatico
Problemi	Teoria dell'apprendimento statistico · Classificazione · Regressione · Regole di associazione · Apprendimento non supervisionato · Apprendimento supervisionato · Apprendimento per rinforzo · Apprendimento profondo
Apprendimento non supervisionato	Clustering · Clustering gerarchico · K-means · Algoritmo EM · DBSCAN · Mean shift · Rete generativa avversaria (cGAN · VAE-GAN · cycleGAN)
Apprendimento supervisionato	Albero di decisione · Foresta casuale · Conditional random fields CRF · Modello di Markov nascosto · K-nearest neighbors · Classificatore bayesiano · Rete neurale artificiale · Regressione lineare · Regressione logistica · Modelli grafici · Macchine a vettori di supporto
Apprendimento per rinforzo	Q-learning · SARSA · TD
Riduzione della dimensionalità	Analisi fattoriale · Analisi della correlazione canonica (CCA) · Analisi delle componenti indipendenti (ICA) · Analisi discriminante lineare (LDA) · Analisi delle componenti principali (PCA) · Selezione delle caratteristiche · Estrazione di caratteristiche · t-distributed stochastic neighbor embedding (t-SNE)
Reti neurali artificiali	Percettrone · Rete neurale a base radiale · Rete bayesiana · Rete neurale feed-forward · Rete di Hopfield · Percettrone multistrato · Rete neurale ricorrente (LSTM) · Macchina di Boltzmann ristretta · Mappa auto-organizzata · Rete neurale convoluzionale · Rete neurale a ritardo · Rete neurale spiking · Trasformatore
Software	Keras · Microsoft Cognitive Toolkit · Scikit-learn · TensorFlow · Theano · Torch · Weka
Altro	Algoritmo genetico · Particle Swarm Optimization · Caratteristica · Compromesso bias-varianza · Minimizzazione del rischio empirico

Portale Informatica

Portale Ingegneria

Portale Statistica