목록편미분 (1)

줘이리의 인생적기

경사하강법(gradient descent)를 뿌수자

앞서 배웠던 회귀계수(w)를 기억하시나요? 이 회귀계수가 적다면 고차원 방정식으로 cost가 최소가 되는 w 값들을 도출할 수 있겠지만, 딥러닝은 이 회귀계수가 정말 많습니다. 즉, 고차원 방정식으로도 해결하기가 어렵다는 말입니다 ㅠㅠ 그래서 cost를 최소화하는 방법인 경사하강법(gradient descent)을 공부해보려 합니다. 경사하강법은 예측값과 실제값 사이가 작아지는 방향성을 가지고 회귀계수 파라미터를 업데이트합니다. 업데이트하다가 차이 값(=오류 값)이 작아지지 않으면 그 값을 최소 비용으로 판단합니다. 그렇다면 작아지는 방향성을 어떻게 알 수 있을까요? 2차 함수라고 가정했을 때 처음 회귀계수 값부터 미분을 적용한 뒤 미분 값이 계속 감소하는 방향으로 업데이트하면 됩니다..! 위 MSE L..
공부/Deep Learning 2022. 1. 12. 23:00
이전 Prev 1 Next 다음