줘이리의 인생적기

Gradient descent에 대한 짧은 이야기는 아래 글에서 다루어 보았습니다. https://cho000023.tistory.com/168 경사하강법(gradient descent)를 뿌수자 앞서 배웠던 회귀계수(w)를 기억하시나요? 이 회귀계수가 적다면 고차원 방정식으로 cost가 최소가 되는 w 값들을 도출할 수 있겠지만, 딥러닝은 이 회귀계수가 정말 많습니다. 즉, 고차원 방정식 cho000023.tistory.com 위 글에서는 feature의 개수가 1개여서 일반적인 gradient descent로도 충분히 가능했지만, 좀 더 복잡한 문제를 다루게 되어 feature의 개수가 늘어난다면 업데이트해야 되는 weight의 양이 기하급수적으로 늘어납니다! 그에 따라 컴퓨팅 자원소모도 엄청나게 되..

앞서 배웠던 회귀계수(w)를 기억하시나요? 이 회귀계수가 적다면 고차원 방정식으로 cost가 최소가 되는 w 값들을 도출할 수 있겠지만, 딥러닝은 이 회귀계수가 정말 많습니다. 즉, 고차원 방정식으로도 해결하기가 어렵다는 말입니다 ㅠㅠ 그래서 cost를 최소화하는 방법인 경사하강법(gradient descent)을 공부해보려 합니다. 경사하강법은 예측값과 실제값 사이가 작아지는 방향성을 가지고 회귀계수 파라미터를 업데이트합니다. 업데이트하다가 차이 값(=오류 값)이 작아지지 않으면 그 값을 최소 비용으로 판단합니다. 그렇다면 작아지는 방향성을 어떻게 알 수 있을까요? 2차 함수라고 가정했을 때 처음 회귀계수 값부터 미분을 적용한 뒤 미분 값이 계속 감소하는 방향으로 업데이트하면 됩니다..! 위 MSE L..

회귀는 여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링하는 기법입니다. 이게 뭔 소린가 싶다. 아파트 가격을 예측하고 싶을 때를 예로 들면 아파트 가격을 종속변수, 아파트 가격을 결정짓는 여러 가지 변수(역세권, 스세권, 실면적 크기, 층, 방 개수 등)를 독립 변수라고 합니다 주어진 독립변수들로 아파트 가격을 정확히 예측하고 싶다면!! 각각의 독립변수들이 아파트 가격에 얼마만큼 영향을 끼치는지 알아야 하겠죠? 각각의 독립변수들이 영향을 끼치는 값을 회귀 계수라고 합니다. 회귀의 핵심은 주어진 독립변수와 종속변수 데이터를 학습을 통해 최적의 회귀 계수를 찾아내는 것입니다 하지만 완벽한 예측 모델을 만들 수 있을까요..? 위의 정의를 다시 말하자면 데이터의 오류가 최소가 되게 만든다는 의미입..

퍼셉트론을 시작으로 딥러닝에 대해서 공부하고 포스팅해보려고 합니다 퍼셉트론 먼저 퍼셉트론에 대해서 알아보자면, 퍼센트론은 가장 단순한 형태의 신경망입니다 싱글 레이어로 구성되어 있으며, input, weight, activation과 output으로 구성되어 있습니다 X는 input을 뜻하며, W는 각 input들의 가중치를 뜻합니다 Weighted sum은 bias를 포함하여 각 input들의 값과 가중치 값을 각각 곱하고 최종으로 더해서 나온 값이며, Activation은 Weighted Sum 값에 activation 함수를 적용한 값입니다. 활성화 함수 종류는 Step function, Sigmoid, ReLU등이 있다고 합니다. 나중에 깊게 다뤄보도록 하겠습니다! 퍼셉트론 학습 퍼셉트론 학습은 ..