[머신러닝 이론] Linear Regression(선형 회귀)

이 글은 모두의 딥러닝 시즌1을 기반으로 작성한 글입니다.

 

[머신러닝 이론] Machine Learning 개념

저번 글에서 머신러닝의 지도학습과 비지도학습에 대해서 알아보고, 훈련 데이터셋과 테스트 데이터셋을 비교했다.

또한 지도학습시, 출력값에 따라 회귀와 분류로 구분할 수 있다는 것을 설명했다.

 

이번 글에서는 회귀 방법 중 선형 회귀에 대해서 자세하게 알아보겠다.

---

Linear Regression

Regression(회귀)은 기존 데이터를 통해 새로운 x가 주어졌을 때, y 값을 예측하는 방법이다.

그 중 Linear Regression(선형 회귀)은 주어진 데이터를 토대로 데이터와 비슷한 직선을 구해서 y를 예측하는 방법이다.

https://ko.wikipedia.org/wiki/선형_회귀

 

 

$$ y = Wx+b $$

 

위 식은 단순 선형 회귀를 수식으로 나타낸 것이다. 여기서 w는 weight(가중치)고, b는 bias(편향)를 의미한다.

w와 b의 값을 바꿈으로써 선의 모양이 바뀐다. 따라서 데이터를 잘 설명할 수 있는 w와 b를 구하는 것이 중요하다.

 

 

 

Hypothesis

 

선형 회귀 모델을 학습하기 위해 Hypothesis(가설)을 세웠다.

$$ H(x) = Wx+b $$

이 가설을 수식으로 나타내면 위와 같이 나타낼 수 있다.

 

 

 

Loss function

Loss function은 Cost function 또는 Objective function이라고도 불린다. 이는 데이터를 잘 설명할 수 있는 w와 b를 찾는 수식을 뜻한다.

다양한 Loss function 중 회귀 문제에서는 보통 실제값과 예측값의 오차가 최소가 되는 w와 b를 찾기 위해 MSE(Mean Squared Error, 최소 제곱 오차)를 사용한다.

 $$ cost(w,b)=\frac{1}{n}\sum_{i=1}^{n}\left [ H(x^{(i)})-y^{(i)} \right ]^2 $$

위 식은 MSE의 수식이다. 오차의 평균을 제곱하여 구하는 것을 알 수 있다.

제곱을 하는 이유는 더 큰 가중치를 줌으로써 오차를 빨리 줄일 수 있다는 장점이 있기 때문이다.