ResNet, 역전파를 그대로 사용하되 Residual Connection을 추가한 CNN

ResNet

역전파를 그대로 사용하되 Residual Connection을 추가한 CNN

 

 

잔차연결 Resudual Connection, Skip Connection,

일반 CNN이 처음부터 게속 해서 다시 배운다면 ResNet은 입력을 버리지않고 순회시 수정해야할 부분만 배우게한다.

Skip connection. 입력이 층들을 지나 처음으로 바로 전달되는것. 

*잔차: 실제값 - 기준값 = 남은 차이 실제점수가 90점인데 예측이 85점이라면 잔차는 5. = 실제값과 예측값의 차이

 

역전파는 신경망을 학습시키는 알고리즘으로 어떤 가중치를 얼마나 수정해야하지?를 중심으로 오차를 전달한다면

Residual Connecion은 신경망 구조로 입력을 뒤쪽으로 직접 전달하는 구조다 . 깊은 CNN에서는 이 역전파가 잘 안되고 전달과정에서 기울기가 점점 작아저 기울기가 소실되 학습을 거의 못한다는 문제가 생기기때문에 직통경로를 만들겠다는 아이디

 

 

일반 깊은 네트워크에서는 역전파로 전달되어 수정되는데 100층쯤 반복하다보면 앞쪽 층은 무엇을 어떻게 수정해야하는지 정보를 거의 못받는다. Resnet은 이 입력이라는 직통경로를 만든것과 같아 기울기가 잘 전달된다 .

 

2014무렵 CNN을 더 깊게 만들면 성능이 좋아질 것이라고 생각해 알고리즘들이 점점 깊어졌다. 

그런데 깊게 만들수록 오히려 학습이 잘 안되기 시작했다. 역전파시 기울기가 전달되고 깊해질수록 계속 곱해져 양쪽 층이 학습되지않아지는것. 

 

ResNet은 2015년 Deep Residual learning for Image Recognition논문에서 제안된 CNN구조.

원본정보는 그대로 전달하고 수정한 부분만 학습하자는 의미. 초 깊은 네트워크도 안정적으로 학습되게 되었다. 

Deep Residual Learning for Image Recognition

Deep Residual Learning for Image Recognition은 2016년 CVPR에서 발표된 논문으로, 카이밍 허, 샹유 장, 샤오칭 렌, 젠 선이 저자이다. 이 연구는 ResNet(Residual Network) 구조를 제안하여, 매우 깊은 신경망 학습을 가능하게 만든 획기적인 기여로 평가된다.

핵심 사실

• 발표 연도: 2016
• 학회: CVPR (IEEE Conference on Computer Vision and Pattern Recognition)
• 저자: Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun
• 핵심 개념: 잔차(residual) 연결
• 주요 성과: ImageNet 2015 우승

배경 및 문제의식

깊은 신경망은 더 높은 표현력을 가지지만, 네트워크 깊이가 증가할수록 기울기 소실(vanishing gradient) 과 성능 저하(degradation) 문제가 발생한다. 기존 네트워크는 단순히 더 깊게 쌓는 것으로는 학습이 어려웠다. 이 논문은 이러한 한계를 해결하고자, 입력을 출력에 직접 더하는 잔차 학습(residual learning) 방식을 제안했다.

모델 구조와 원리

 

ResNet은 ‘스킵 연결(skip connection)’을 통해, 한 블록의 입력을 이후 층의 출력에 더해주는 구조를 갖는다. 이로써 모델은 전체 매핑이 아닌 잔차 함수(Residual Function)를 학습하며, 깊은 네트워크에서도 효율적으로 학습이 가능하다. 대표적인 구성은 34층, 50층, 101층, 152층 등으로 제시되었다.

영향 및 확산

ResNet은 ImageNet 분류에서 인간 수준을 능가하는 정확도를 달성하며, 딥러닝 연구의 새로운 표준으로 자리 잡았다. 이후 ResNeXt, DenseNet, Transformer 기반 비전 모델(ViT) 등 수많은 아키텍처의 기반이 되었고, 컴퓨터 비전 전반과 자연어 처리 등 다양한 분야에 영향을 미쳤다.

현재의 의의

현재까지도 ResNet은 효율성과 안정성을 갖춘 대표적 백본(backbone) 네트워크로 널리 사용된다. 심층 신경망의 학습 안정화, 성능 향상, 그리고 네트워크 설계 철학의 근본적 전환을 이끈 기념비적 연구로 평가된다.

 

 

 

ResNet101

당시 CNN 연구의 큰 목표가 더깊게 만들수있는가? 였고 ResNet 이전에는 2, 30층만 넘어도 학습이 어려웠다.

ResNet은 50, 101, 152 층까지 성공적으로 학습시켰고 이는 엄청난 성과였다 .

즉 '깊은 네트워크도 학습가능하다'라는 상징처럼 많이 언급된다. 

 

ResNet 계열 모델 중 하나로 101개의 층을 가진 심층 CNN으로 깊은 네트워크에서도 효과적으로 학습하고 ImageNet 데이터셋에서 우수한 성능을 보인 대표적인 이미지 분류 모델이다. 

사전학습모델은 약 4, 450만개의 파라미터를 포함하고 1000개의 ImageNet 클래스를 분류할 수 있다 .

 

 

외 다른 버전들도 모두 같은 아이디어. 차이는 얼마나 깊은가 뿐이다 .

모델층 수

ResNet18	18
ResNet34	34
ResNet50	50
ResNet101	101
ResNet152	152

 

 

ResNet = Skip Connection을 사용하는 CNN
ResNet18 = 가벼움
ResNet50 = 가장 많이 사용
ResNet101 = 더 깊은 버전
ResNet152 = 매우 깊은 버전