[머신러닝 이론] Multiple Linear Regression(다중 선형 회귀)

이 글은 모두를 위한 딥러닝 시즌1을 기반으로 작성한 글입니다.

 

[머신러닝 이론] Gradient descent(경사하강법)

앞에서 단순 선형 회귀와 cost가 최소가 되는 weight 값을 찾는 방법인 경사하강법에 대해서 알아봤다.

이번 글에서는 다중 선형 회귀에 대해서 알아보겠다.

---

Multiple Linear Regression

다중 선형 회귀는 독립 변수 x가 여러 개일 때의 종속 변수 y를 예측하는 것이다. 따라서 input으로 들어가는 요소가 늘어나기 때문에 input이 한 개였던 단순 선형 회귀와 비교했을 때 더 복잡한 모델이 된다.

 

다중 선형 회귀의 수식은 아래와 같다.

$$ y = W_{1}x_{1} + W_{2}x_{2} + W_{3}x_{3} + \cdots + W_{n}x_{n} + b $$

 

Loss Function(= Cost Function)

다중 선형 회귀의 손실 함수(=비용 함수)은 단순 선형 회귀와 똑같은 MSE를 사용한다. 

$$ cost(w,b) = \frac{1}{n}\sum_{i=1}^{n}\left [ H(x_{1}^{(i)}+x_{2}^{(i)}+x_{3}^{(i)}+\cdots+x_{n}^{(i)})-y^{(i)} \right ]^2 $$

 

Matrix

다중 선형 회귀는 독립 변수 x의 개수가 늘어남에 따라 수식이 더 길어진다. 이럴 때 간단하게 표현하기 위해 행렬을 사용한다.

독립 변수 x가 3개일 때를 살펴보자.

$$ H(x) = W_{1}x_{1} + W_{2}x_{2} + W_{3}x_{3} = \begin{pmatrix}
x_{1} & x_{2} & x_{3} \\
\end{pmatrix}\begin{pmatrix}
W_{1} \\ W_{2}
 \\ W_{3}
\end{pmatrix} = XW $$

 

이처럼 행렬을 사용하면 간단하게 표현할 수 있다.