가중치란?: Weight 이 특징을 얼마나 중요하게 볼것인가? 수치표현

가중치란?

Weight

인공지능, 인공신경망에서 입력데이터 결과에 얼마나 큰 영향을 미치는가를 나타내는 값. 

인공신경망에서 각 입력 특징의 중요도를 나타내는 수지이다 .

학습과정에서 지속적으로 조정되어 모델이 데이터를 이해하고 정확한 예측을 할 수 있도록 만드는 핵심요소.

 

여러 정보를 중요도에 따라 다르게 고려하듯 인공신경망도 마찬가지.

모든 입력이 동일하게 중요하지않다 .가중치는 '이 특징을 얼마나 중요하게 볼것인가?'를 수치로 표현한다. 

 

간단한 신경망 구조가 아래와같다면

입력층 → 은닉층 → 출력층

 

각 노드 뉴런은 서로 연결되어 연결마다 가중치가 존재한다.

초기에는 가중치가 랜덤하게 설정되며 AI는 학습데이터를 반복적으로 보면서 예측, 실제정답과 비교, 오차계산, 가중치 수정과정을 반복하고 이를 학습이라한다. 

입력값 x1 ──(w1)──┐
                  │
입력값 x2 ──(w2)──┼─► 뉴런
                  │
입력값 x3 ──(w3)──┘

 

 

가중치는 역전파 알고리즘을 통ㅎ해 수정되고 오차를 줄이는 방향으로 가중치가 조금씩 조정된다. 

간단한 신경망은 수십 수백개의 가중치를 가지고 현대 딥러닝 모델은 엄청난 수의 가중치를 가진다. 

간단한 신경망	수백~수천 개
CNN	수백만 개
ResNet	수천만 개
GPT 계열	수십억~수천억 개