목록Stochastic (1)

줘이리의 인생적기

여러 경사하강법(Gradient descent)

Gradient descent에 대한 짧은 이야기는 아래 글에서 다루어 보았습니다. https://cho000023.tistory.com/168 경사하강법(gradient descent)를 뿌수자 앞서 배웠던 회귀계수(w)를 기억하시나요? 이 회귀계수가 적다면 고차원 방정식으로 cost가 최소가 되는 w 값들을 도출할 수 있겠지만, 딥러닝은 이 회귀계수가 정말 많습니다. 즉, 고차원 방정식 cho000023.tistory.com 위 글에서는 feature의 개수가 1개여서 일반적인 gradient descent로도 충분히 가능했지만, 좀 더 복잡한 문제를 다루게 되어 feature의 개수가 늘어난다면 업데이트해야 되는 weight의 양이 기하급수적으로 늘어납니다! 그에 따라 컴퓨팅 자원소모도 엄청나게 되..
공부/Deep Learning 2022. 1. 24. 23:30
이전 Prev 1 Next 다음