linear model

Linear models

---

Linear regression

---

linear equations

---

• m = equations
• n = unkowns

1. m > n
   • over-determined : 부정식
   • under complete
   • 주로 Lidge를 사용한다함
   • 거의 대부분의 머신러닝 문제
2. m = n
   • 흔히 학교에서 풀었던 방정식
   • unique
3. m < n
   • over complete
   • 해가 무수히 존재함
   • under-determined
   • 주로 Lasso를 사용한다함

선형회귀의 목적

---

• 오차를 최소화하는 것
• 오차 ?
  $$y_1 \approx W_1 x_1 + W_0 \\y_2 \approx W_2 x_2 + W_0 \\ y_3 \approx W_3 x_3 + W_0$$
• Define an error
  $$e_1 = y_1 - W_1x_1 - W_0 \\ e_2 = y_2 - W_2x_2 - W_0 \\ e_3 = y_3 - W_3x_3 - W_0 \\$$
• 이때 ${e_1}^2+{e_2}^2+{e_3}^2$을 최소화하는 $w$값을 구한다.
  • least squares method

Linear regression

---

$$f(x_0) = \sum_{j=1}^{M}{w_j\phi_j(x_n)+w_0\phi_0(x)} = w^{\top}\phi(x_n)$$

• $\phi_j(x_n)$는 basis function 라고 불린다.

  • $w, \phi(x_n) \in \real^{M+1}$
  • $w = [w_0 + w_1 ... w_M]^\top$
  • $\phi(x_n) = [\phi_0(x_n), \phi_1(x_n)...\phi_M(x_n)]^\top$

• nonlinear한 basis function을 이용해 input이 vector $x_n$인 f(x)를 nonlinear하게 할 수 있다. ( 연결 관계를 없앤다. )

LSM

---

• least squares method, 최소제곱법, 최소자승법

  • 오차의 제곱의 합이 최소가 되는 해를 구하는 방법

• training data

  • ${(\bold x_n, y_n)}_{n=1}^N$

• 목적식

$${1\over2N}\sum_{n=1}^N(y_n-w^\top\phi(\bold x_n))^2 = {1\over2N} ||\bold y-\boldsymbol{ \phi^\top w}||_2^2$$
$$\boldsymbol{ \phi^\top }w = \begin{bmatrix} \phi_0(x_1) & \phi_1(x_1) & \cdots & \phi_M(x_1) \\ \phi_0(x_2) & \phi_1(x_2) & \cdots & \phi_M(x_2) \\ \vdots & \vdots & \ddots & \vdots \\ \phi_0(x_N) & \phi_1(x_N) & \cdots & \phi_M(x_N) \end{bmatrix} \begin{bmatrix} w_o \\ w_1 \\ \vdots \\ w_M \end{bmatrix}$$

• 변환
  $$||\bold y-\boldsymbol{ \phi^\top w}||_2^2 = (y-\phi^\top w)^\top(y-\phi ^\top w )$$

• y, $\phi$ 는 주어진 값이다. 식을 최소화하는 $w$ ?

$$w_{LS} = \argmin_w{1\over2N} ||\bold y-\boldsymbol{ \phi^\top w}||_2^2$$

• 정규 방정식을 구한다. ( 해석적인 방법 )
  $${\partial \over \partial w } ({1\over 2N}||\bold y-\boldsymbol{ \phi^\top w}||_2^2 ) = 0 \ \ \text{for} \ w$$

$${1\over 2N} (\bold y-\boldsymbol \phi^\top \bold w)^\top( \bold y-\boldsymbol \phi ^\top \bold w ) \\ = {1\over 2N} (\bold y^\top\bold y - \bold w^\top \boldsymbol \phi \bold y - \bold y^\top \boldsymbol \phi ^ \top \bold w + \bold w ^\top \boldsymbol \phi\boldsymbol \phi ^ \top \bold w )$$

$( ~ )^\top$에서 T를 분배하고 곱

• 미분한다.
  $${ \partial \over \partial w } (\bold y^\top\bold y - \bold w^\top \boldsymbol \phi \bold y - \bold y^\top \boldsymbol \phi ^ \top \bold w + \bold w ^\top \boldsymbol \phi\boldsymbol \phi ^ \top \bold w ) = 2\boldsymbol \phi\boldsymbol \phi^\top w - \boldsymbol \phi \boldsymbol y$$

• 해를 구한다.

$$w_{LS} = (\boldsymbol \phi\boldsymbol \phi^\top ) ^{-1} \boldsymbol \phi \boldsymbol y = \boldsymbol \phi ^\dagger \boldsymbol y$$

$\boldsymbol \phi ^\dagger$ : moore penrose pseudo inverse

Polynomial Regression

• 다항회귀 multiple regression

  • 다중의 독립변수가 있는 것

• 다중회귀

  • 독립변수의 차수를 높인 것
  • $f(x_n) = \sum_{j=0}^M w_j{x_n}^j$