[머신러닝 이론] Overfitting(과적합) Regularization(일반화)

이 글은 모두를 위한 딥러닝 시즌1을 기반으로 작성한 글입니다.

 

[머신러닝 이론] Learning rate(학습률)

이전 글에서는 학습률에 대해서 설명했다.

이전 글에 이어 이번 글에서는 실제 머신러닝을 실행할 때 필요한 개념 중 하나인 과적합에 대해서 설명하겠다.

---

Overfitting

https://skyengine.ai/se/skyengine-blog/129-overfitting-in-machine-learning-and-computer-vision

 

과적합은 모델이 training dataset에 과하게 잘 맞는 것을 말한다. 이는 training dataset에 대해서는 매우 좋은 성능을 보이지만, testing dataset과 real data에서는 좋은 성능을 보이지 못한다.

 

이를 해결하는 방법은 training data의 수를 더 많이 늘리는 것, feature의 수를 줄이는 것, 그리고 Regularization이 있다.

 

Regularization

Regularization은 weight가 너무 큰 값을 갖지 않도록 하는 것이다. 이 방법을 사용하면 구불구불했던 함수가 펴지게 된다.

 

$$loss=\sum _{i=0}^n(y_i-\sum _{j=0}^m{x}_{ij}{W}_j)+\lambda \sum _{j=0}^m{W}_j^2$$

 

원래 loss function에 penalty term을 추가하면 Regularization이 된다. regularization strenght인 람다에 어떤 값을 넣어주냐에 따라 regularization의 비중을 결정할 수 있다.