[tensorflow 03] 뉴런01 - 뉴런의 기본

뉴런은 신경망의 가장 기본적인 구성요소입니다.

 

뉴런은 입력을 받아 계산 후 출력을 반환하는 구조입니다.

 

뉴런들이 여러개 모여 구성한 것을 레이어라고 합니다.

 

뉴런의 구성요소로는 입력, 가중치, 활성화 함수, 출력으로 구성되어 있습니다.

 

뉴런의 구성요소

위처럼 가장 간단한 형태의 뉴런은 입력에 가중치를 곱한 뒤 활성화 함수를 취하는 것입니다.

 

 

가중치는 처음에 초기화를 통해 랜덤 값이 들어가게 되며, 학습하며 가중치만 변하게 됩니다.

 

학습이 잘 된다는 것은 원하는 출력에 가까운 값을 얻는 가중치를 얻게 되는 것입니다.

 

 

활성화 함수로는 주로 sigmoid, ReLU 함수들을 씁니다.

 

https://medium.com/@himanshuxd/activation-functions-sigmoid-relu-leaky-relu-and-softmax-basics-for-neural-networks-and-deep-8d9c70eed91e

 

sigmoid는 S자 형태의 곡선이라는 뜻이고, ReLU는 정류된 선형 함수(Rectified Linear Unit)라는 뜻입니다.