Regressione Lasso e Ridge

La regressione Ridge e la regressione Lasso sono entrambi tipi di metodi di regressione lineare regolarizzati utilizzati nella modellazione statistica e nell'apprendimento automatico. Sono particolarmente utili per affrontare la multicollinearità e l'overfitting. Ecco una panoramica di ciascuno:

Regressione Lasso

(Least Absolute Shrinkage and Selection Operator)

La regressione Lasso esegue un restringimento del modello.

I coefficienti delle caratteristiche meno importanti vengono ridotti a zero, rimuovendoli dal modello.

Questo è utile perché semplifica il modello, selezionando soltanto le caratteristiche che incidono effettivamente sulla previsione.

Esempio. Immagina di avere tanti dati (come l'età, l'altezza, il peso, ecc.) per prevedere qualcosa (come la probabilità di ammalarsi). Alcuni di questi dati potrebbero non essere molto utili. La regressione Lasso "restringe" i meno importanti, rendendoli come se non esistessero. È come se dicesse: "Questi dati non sono utili, non li userò".

Come funziona?

La regressione lasso aggiunge una penalità al modello proporzionale alla grandezza dei coefficienti presi in valore assoluto.

Questo tende a produrre modelli sparsi, cioè modelli con meno coefficienti.

In questo modo, eliminando i coefficienti meno importanti, la regressione Lasso attua una regolarizzazione del modello.

Cos'è la regolarizzazione? E' la tecnica utilizzata per ridurre l'overfitting, ossia quella situazione in cui il modello è efficace sui dati di addestramento ma non altrettanto sui nuovi dati raccolti in situazioni reali diverse da quelle di addestramento.

Quando usare la regressione Lasso?

Il metodo Lasso è migliore quando il modello lavora su molti dati, ma pensi che solo alcuni siano davvero importanti.

Regressione Ridge

La regressione Ridge attua il restringimento e la regolarizzazione del metodo, ma in modo diverso rispetto alla tecnica Lasso.

Come funziona?

La regressione Ridge aggiunge una penalità pari al quadrato della grandezza dei coefficienti.

Tuttavia, a differenza del Lasso, il restringimento Ridge non riduce i coefficienti a zero, ma ne minimizza l'impatto e li rende solo un po' meno influenti.

In altre parole anche la regressione Ridge riduce la complessità del modello, lo semplifica, ma in un modo diverso. Invece di eliminare completamente i dati meno importanti, ne riduce l'importanza. È come se diminuisse il volume di alcune informazioni, anziché spegnerle del tutto

Quando usare la regressione Ridge?

Il restringimento Ridge è utile quando tutti i dati di addestramento sono importanti, ma vuoi essere sicuro che il modello non dipenda troppo da alcuni dati che causano l'overfitting.

Quindi, funziona meglio quando ci sono molti parametri/predittori  nel modello e sono tutti rilevanti.

È particolarmente utile per gestire la multicollinearità, cioè quando le variabili indipendenti sono altamente correlate.

Cos'è la multicollinearità dei dati? La multicollinearità nei dati si verifica quando due o più variabili predittive in un modello statistico sono altamente correlate tra loro. Questo significa che una variabile può essere prevista con una certa precisione usando altre variabili. Questa situazione può creare problemi in modelli di regressione, poiché rende difficile distinguere l'effetto individuale di ciascuna variabile sulla variabile dipendente. Ad esempio, in un dataset usato per prevedere il prezzo di vendita delle case, l variabili come i metri quadrati della casa, il numero di camere da letto e il numero di bagni tendono ad essere fortemente correlate tra loro. Questo accade perché le case con più metri quadrati tendono ad avere più camere da letto e bagni. Quindi, se conosci i metri quadrati di una casa, puoi fare una stima ragionevole del numero di camere da letto e bagni che ci sono nella casa.

La differenza tra Lasso e Ridge

Entrambi questi metodi aiutano a prevenire l'overfitting, la situazione che si verifica quando il modello previsionale si adatta troppo bene ai tuoi dati di addestramento e non funziona bene con nuovi dati. 

Tuttavia, i metodi seguono strade diverse per ottenere lo stesso risultato.

Le due tecniche di restringimento dei parametri si differenziano principalmente nel modo in cui assegnano la penalità ai coefficienti:

• La regressione Lasso può azzerare le caratteristiche meno importanti, eseguendo la selezione delle caratteristiche. E' utile quando alcuni dati potrebbero non essere importanti affatto.
• La regressione Ridge diminuisce l'impatto delle caratteristiche meno importanti, ma non le rimuove mai completamente. Si usa quando si pensa che tutti i dati siano importanti, ma nessuno dovrebbe dominare il modello.

Quindi, la regressione Lasso può rimuovere completamente alcuni dati dal modello, mentre la regressione Ridge non li elimina ma ne riduce il peso.

Nella pratica, non è raro provare entrambi i metodi e confrontare le loro prestazioni attraverso la validazione incrociata o altri mezzi.

Pensali come strumenti che mantengono il tuo modello più flessibile, semplice e generale.