Feature Engineering

Nel machine learning il Feature Engineering è un processo per migliorare la performance dei modelli di apprendimento automatico. Consiste nella creazione, selezione e trasformazione delle caratteristiche (features) di un dataset per migliorare l'efficacia dei modelli di machine learning.

Il feature engineering è un processo iterativo e richiede una profonda comprensione dei dati e del problema specifico che si sta cercando di risolvere. La capacità di svolgere efficacemente il feature engineering può spesso fare la differenza tra un modello mediocre e uno altamente performante.

Ecco alcuni aspetti chiave del feature engineering:

• Selezione delle caratteristiche
  Questo passaggio implica la scelta delle caratteristiche più rilevanti per il modello. Non tutte le caratteristiche disponibili in un dataset sono utili o necessarie per costruire un modello efficiente. L'eliminazione delle caratteristiche irrilevanti può ridurre il rumore e migliorare la performance del modello.

  Ad esempio, in un progetto di machine learning per prevedere il prezzo delle automobili, si considerano diverse caratteristiche come marca, modello, anno di produzione e chilometraggio. Tuttavia, non tutte queste caratteristiche hanno lo stesso impatto sul prezzo: ad esempio, marca e chilometraggio sono generalmente più rilevanti rispetto al colore o alla presenza di un sistema di navigazione. Nel processo di selezione delle caratteristiche, si scelgono quelle più influenti, come marca e chilometraggio, e si eliminano quelle meno importanti. Questa scelta aiuta a ridurre il rumore nel modello e a migliorarne la capacità di fare previsioni accurate sul prezzo delle automobili.

• L'interazione e la creazione di nuove caratteristiche
  Un elemento cruciale nel feature engineering applicato al machine learning è l'interazione tra le caratteristiche. Questa pratica consiste nello sviluppare nuove feature che emergono dalla combinazione o dall'interazione di due o più caratteristiche già presenti nel dataset. Tali interazioni sono spesso fondamentali per i modelli di apprendimento automatico, in quanto riescono a catturare relazioni complesse tra i dati che potrebbero non essere immediatamente evidenti quando si analizzano le singole caratteristiche separatamente.

  Ad esempio, se si lavora su un set di dati immobiliari, la combinazione delle caratteristiche "dimensione dell'abitazione" e "numero di bagni" potrebbe creare una nuova caratteristica che rappresenta la "dimensione media del bagno", che potrebbe essere più predittiva per il prezzo dell'immobile rispetto alle caratteristiche singole.

  Le caratteristiche preesistenti possono essere adattate o modificate per creare nuove feature con un maggiore potenziale predittivo, tramite operazioni che includono la somma, la differenza o la combinazione di diverse caratteristiche. L'interazione tra le feature permette di indagare e sfruttare relazioni nascoste che i modelli standard potrebbero trascurare, migliorando così la capacità del modello di realizzare previsioni precise ed efficaci.
• Trasformazione delle caratteristiche
  Molte tecniche di machine learning richiedono che le caratteristiche siano in un certo formato o gamma. La normalizzazione (ad esempio, ridimensionare le caratteristiche in modo che abbiano media 0 e varianza 1) o la standardizzazione sono esempi comuni di trasformazione delle caratteristiche.
• Gestione dei dati mancanti
  I dati spesso contengono valori mancanti. Il feature engineering può includere strategie per gestire questi valori mancanti, come l'imputazione, dove i valori mancanti vengono sostituiti con medie, mediane, o altri calcoli statistici. Questo processo aiuta a mantenere l'integrità del modello e a migliorare la sua accuratezza senza scartare intere osservazioni.

  Immaginiamo di avere un dataset che contiene informazioni sugli appartamenti, inclusi dati come la superficie in metri quadrati, il numero di stanze e l'anno di costruzione. Durante l'analisi, notiamo che alcuni dati relativi all'anno di costruzione sono mancanti. Per gestire questi valori mancanti, possiamo applicare l'imputazione. Supponiamo che la media degli anni di costruzione per gli appartamenti nel nostro dataset sia il 1980. Invece di eliminare le righe con l'anno di costruzione mancante, sostituiamo questi valori mancanti con il 1980. Questo permette di utilizzare tutti i dati disponibili nel dataset senza distorcere significativamente le relazioni generali tra le caratteristiche.

• Codifica delle variabili delle categorie
  Molti algoritmi di machine learning richiedono che le variabili di input siano numeriche. Le variabili delle categorie (come genere, nazione, ecc.) devono quindi essere trasformate in un formato numerico, ad esempio attraverso la codifica one-hot o la codifica label.
• Riduzione della dimensionalità
  In alcuni casi, il dataset può avere un numero eccessivo di caratteristiche, rendendo il modello complesso e lento da allenare. Tecniche come l'analisi delle componenti principali (PCA) possono ridurre il numero di caratteristiche mantenendo la maggior parte delle informazioni importanti.