Rettificatore (reti neurali)

Questa voce o sezione sull'argomento teorie dell'informatica non cita le fonti necessarie o quelle presenti sono insufficienti.

---

Puoi migliorare questa voce aggiungendo citazioni da fonti attendibili secondo le linee guida sull'uso delle fonti.

Questa voce sull'argomento teorie dell'informatica è solo un abbozzo.

Contribuisci a migliorarla secondo le convenzioni di Wikipedia.

Nel contesto delle reti neurali artificiali, il rettificatore è una funzione di attivazione definita come la parte positiva del suo argomento:

${\displaystyle f(x)=x^{+}=\max(0,x),}$

dove ${\displaystyle x}$ è l'input a un neurone. È anche annoverata tra le funzioni rampa ed è l'analogo di un raddrizzatore in elettronica. Questa funzione di attivazione fu introdotta per la prima volta in una rete dinamica da Hahnloser et al. in 2000 adducendo motivazioni fortemente biologiche. Nel 2011 è stato dimostrato per la prima volta che la funzione rettificatore permette di ottenere un allenamento migliore per le reti neurali profonde (Deep Neural Network). Questo risultato è ottenuto comparando il rettificatore con le funzioni di attivazione più diffusamente usate fino al 2011: sigmoide logistica e la tangente iperbolica. Nel 2018, la funzione rettificatore è stata riconosciuta come la funzione di attivazione più largamente utilizzata nelle Deep Neural Network.

Un'unità che impieghi il rettificatore è anche chiamata unità lineare rettificata (ReLU, dall'inglese rectified linear unit).

Una buona approssimazione di un rettificatore è la funzione analitica

${\displaystyle f(x)=\ln(1+\exp(x)),}$

chiamata funzione softplus. La derivata della funzione softplus è la funzione logistica.

La funzione rettificatore fu usata per separare specifici stati di eccitazione da non specifici stati d'inibizione nelle neural abstraction pyramids, allenate in modo supervisionato per riconoscere diversi stimoli visivi. In confronto alla più diffusa tangente iperbolica, la funzione rettificatore permette di ottenere un allenamento efficiente della rete in più breve tempo e utilizzando insiemi di dati grandi e complessi.

Altri aspetti da considerare sono:

• plausibilità biologica;
• attivazione sparsa;
• migliore capacità di evitare la saturazione dei pesi in allenamento;
• computazioni efficienti e semplici;
• invarianza di scala.

V · D · M Apprendimento automatico
Problemi	Teoria dell'apprendimento statistico · Classificazione · Regressione · Regole di associazione · Apprendimento non supervisionato · Apprendimento supervisionato · Apprendimento per rinforzo · Apprendimento profondo
Apprendimento non supervisionato	Clustering · Clustering gerarchico · K-means · Algoritmo EM · DBSCAN · Mean shift · Rete generativa avversaria (cGAN · VAE-GAN · cycleGAN)
Apprendimento supervisionato	Albero di decisione · Foresta casuale · Conditional random fields CRF · Modello di Markov nascosto · K-nearest neighbors · Classificatore bayesiano · Rete neurale artificiale · Regressione lineare · Regressione logistica · Modelli grafici · Macchine a vettori di supporto
Apprendimento per rinforzo	Q-learning · SARSA · TD
Riduzione della dimensionalità	Analisi fattoriale · Analisi della correlazione canonica (CCA) · Analisi delle componenti indipendenti (ICA) · Analisi discriminante lineare (LDA) · Analisi delle componenti principali (PCA) · Selezione delle caratteristiche · Estrazione di caratteristiche · t-distributed stochastic neighbor embedding (t-SNE)
Reti neurali artificiali	Percettrone · Rete neurale a base radiale · Rete bayesiana · Rete neurale feed-forward · Rete di Hopfield · Percettrone multistrato · Rete neurale ricorrente (LSTM) · Macchina di Boltzmann ristretta · Mappa auto-organizzata · Rete neurale convoluzionale · Rete neurale a ritardo · Rete neurale spiking · Trasformatore
Software	Keras · Microsoft Cognitive Toolkit · Scikit-learn · TensorFlow · Theano · Torch · Weka
Altro	Algoritmo genetico · Particle Swarm Optimization · Caratteristica · Compromesso bias-varianza · Minimizzazione del rischio empirico

Portale Informatica: accedi alle voci di Wikipedia che trattano di informatica