여러 경사하강법(Gradient descent)

Gradient descent에 대한 짧은 이야기는 아래 글에서 다루어 보았습니다.

https://cho000023.tistory.com/168

경사하강법(gradient descent)를 뿌수자

 

위 글에서는 feature의 개수가 1개여서 일반적인 gradient descent로도 충분히 가능했지만, 좀 더 복잡한 문제를 다루게 되어 feature의 개수가 늘어난다면 업데이트해야 되는 weight의 양이 기하급수적으로 늘어납니다!

 

그에 따라 컴퓨팅 자원소모도 엄청나게 되고, 메모리 부족 현상도 일어날 수 있습니다.

 

이러한 것들을 방지하고자 Stochastic gradient descent와 mini-batch gradient descent가 소개되었습니다.

 

SGD(Stochastic gradient descent)는 전체 train data 중 한 건만 임의로 선택하여 weight 값을 업데이트해주는 기법입니다.

mini-batch gradient descent는 전체 train data 중 지정한 크기만큼(batch 크기만큼) 임의로 선택하여 weight 값을 업데이트해주는 기법입니다.

 

일반적으로 많은 딥러닝 프레임워크들은 mini-batch gradient descent를 사용합니다

 

다음 글에서는 심층신경망에 대해서 알아보겠습니다