경사하강법(gradient descent)를 뿌수자

앞서 배웠던 회귀계수(w)를 기억하시나요?

 

이 회귀계수가 적다면 고차원 방정식으로 cost가 최소가 되는 w 값들을 도출할 수 있겠지만, 딥러닝은 이 회귀계수가 정말 많습니다. 즉, 고차원 방정식으로도 해결하기가 어렵다는 말입니다 ㅠㅠ

 

그래서 cost를 최소화하는 방법인 경사하강법(gradient descent)을 공부해보려 합니다.

 

경사하강법은 예측값과 실제값 사이가 작아지는 방향성을 가지고 회귀계수 파라미터를 업데이트합니다.

업데이트하다가 차이 값(=오류 값)이 작아지지 않으면 그 값을 최소 비용으로 판단합니다.

그렇다면 작아지는 방향성을 어떻게 알 수 있을까요?

2차 함수라고 가정했을 때 처음 회귀계수 값부터 미분을 적용한 뒤 미분 값이 계속 감소하는 방향으로 업데이트하면 됩니다..!

 

위 MSE Loss는 w0와 w1를 가지고 있기 때문에 편미분을 적용해야 합니다

각각의 계수(w1 피쳐계수 하나와 w0 바이어스 하나)로 편미분한 결과입니다!

각각의 결과값들을 전 값이라고 했을 때 현재의 편미분 값을 빼주어야 업데이트가 되겠죠

n(학습률, Learning rate)를 곱해서 감소시키면서 업데이트해줍니다.

 

이런 식으로 정해진 epoch반복수만큼 회귀계수 업데이트를 수행합니다.!

 

다음 포스팅은 경사하강법에 대해서 좀,, 더! 깊이 알아보겠습니다.