SK 네트웍스 AI 캠프 - 3_딥러닝 - Day25_딥러닝 네트워크 신경망 알고리즘 계층 구조

인공신경망

뉴런 신경세포 구조를 단순화한것. 

입력 - 계산 - 출력: 다른 뉴런에서 신호받아 가중치/편향으로 계산 - 다음 뉴런으로 전달

 

퍼센트론

직선으로만 구분가능한 1개의 층, AND OR은 가능하나  XOR를 풀지못한다. 

 

딥러닝

여러개의 은닉층을 쌓아 복잡한 패턴을 학습하는 모델

데이터입력 - 순전파 forward - 예측값 생성 - 손실 계산(MSE, BCE, CrossEntropy) - 역전파 backpropagation - 가중치 업데이트(optimizer - SGD, mentum, RMSProp, Adam) - 반복

 

활성화 함수

Sigmoid 0 ~ 1, 확률출력, 이진분류 출력층

Tanh -1 ~ 1 sigmoid 개선형

ReLU max(0, x) 빠르고 현재표준, Dead ReLU (0만 나오는 뉴런)

Leaky ReLU Dead ReLU 해결

GELU ReLU보다 부드러움 성능 좋음

Swish Google 개발 ReLU보다 성능 좋음

Softmax 각 클래스 확률로 변환

 

몸컨디션이 안좋아 조퇴.