Modelli lineari, regressione e pseudoinversa

Modelli lineari

I modelli lineari servono a generalizzare problemi in cui la relazione tra il cambiamento di valore dell’input $𝒙$ e l’output $𝑦$ può essere trovata attraverso la soluzione di un sistema lineare.

Ciò li rende molto semplici sia da addestrare che da capire, basta analizzare i parametri per capire quali sono quelli che maggiormente influenzano il risultato.

Esempio: si può generalizzare la relazione tra la potenza e il costo di un’automobile:

Regressione lineare

In un modello lineare, ogni componente ${𝑥}_{𝑖}$ di $𝒙$ è moltiplicata da un parametro ${𝑤}_{𝑖}$. Possiamo generalizzare e scrivere che il risultato è dato dal prodotto scalare tra la matrice trasposta dei parametri e il vettore input.

$$𝑓\left(𝒙\right)={𝒘}^{𝑇}\cdot 𝒙$$

Note

Per convenzione, dato un vettore $𝒗$, esso sarà un vettore colonna. ${𝒗}^{𝑇}$ sarà un vettore riga.

Note

I parametri si denotano con $𝒘$ perché in inglese sono chiamati ‘weights’.

Tecniche di approssimazione non lineare

La prima restrizione che incontriamo usando la $𝑓$ definita sopra è che si assume che $𝑓\left(0\right)=0$.

Per risolvere il problema basta aggiungere una dimensione fittizia al vettore in input e poi fissare la nuova componente a 1.

Questi modelli vengono detti affini.

In questo caso $𝑓$ sarà la funzione lineare e $𝑔$ la funzione affine:

$$𝑔\left(𝒙\right)=𝑓\left(1,𝒙\right)={𝑤}_0+{𝒘}^{𝑇}\cdot 𝒙$$

Questo permette di modellare relazioni che non passano per l’origine, pur continuando a usare l’approssimazione della retta che minimizza la somma degli errori quadratici.

Per usare l’algebra lineare per ottimizzare è necessario che il modello sia lineare nei pesi, non nei dati in input. Infatti durante l’ottimizzazione la variabile da trovare è $𝒘$, mentre $𝒙$ rimane costante.

Generalizzazione

In pratica i dati di input possono essere processati a piacimento per estrarre più features.

Possiamo definire una funzione $𝜑:{ℝ}^{𝑑}\to {ℝ}^{𝑛}$ che applica trasformazioni arbitrarie al vettore di input (anche non lineari). Poi passeremo quel risultato in ingresso al nostro modello lineare:

$$𝑓\left(𝒙\right)={𝒘}^{𝑇}\cdot 𝜑\left(𝒙\right)$$

Classificazione lineare

Nel caso della classificazione possiamo usare il risultato della regressione lineare come discriminante.

Il prodotto scalare tra i vettori $𝒘$ e $𝒙$ definisce un iperpiano di frontiera che divide lo spazio in due regioni: una dove il risultato è positivo e una dove è negativo. La frontiera è data dai vettori perpendicolari a $𝒘$.

Note

In più dimensioni, un piano generalizza la retta e un iperpiano generalizza il piano. Le due regioni generate dalla suddivisione generalizzano i semipiani.

Ottimizzazione attraverso la pseudo-inversa

Come visto in precedenza, dobbiamo trovare il valore dei pesi $𝒘$ in modo da minimizzare gli errori del modello:

$$𝐸\left(𝒘\right)=\sum _{𝑖=1}^{𝑛}{\left({𝒘}^{𝑇}\cdot {𝒙}_{𝑖}-{𝑦}_{𝑖}\right)}^2$$

Nel caso ideale, senza errori di misurazione sul dataset degli esempi, si potrebbero trovare i pesi attraverso un sistema di equazioni lineari, che si risolve invertendo la matrice dei coefficienti:

$$𝑨𝒘=𝒃\iff 𝒘={𝑨}^{-1}𝒃$$

Nella realtà, purtroppo, ci sono sempre errori di misurazione. Quindi si ottiene un sistema sovradeterminato, in cui alcune equazioni risultano contraddittorie. Occorre quindi approssimare la soluzione che permetta di minimizzare $𝐸\left(𝒘\right)$ anche se difficilmente si arriverà a $0$.

Per fare ciò possiamo usare la pseudoinversa di $𝑨$, denotata con ${𝑨}^{+}$ e definita come:

$${𝑨}^{+}={\left({𝑨}^{𝑇}𝑨\right)}^{-1}{𝑨}^{𝑇}$$

Noi dobbiamo risolvere, usando tutti gli esempi, il sistema di equazioni ${𝒘}^{𝑇}\cdot {𝒙}_{𝑖}={𝑦}_{𝑖}$. Otteniamo quindi la seguente formula, in cui $𝑿$ è la matrice che raccoglie tutti gli esempi di input e $𝒚$ il vettore degli output corrispondenti:

$$𝒘={\left({𝑿}^{𝑇}𝑿\right)}^{-1}{𝑿}^{𝑇}𝒚$$