상대적 적대신경망 GAN게임 & 순환 일관성이 보장되는 포토샵신경망 사이클 GAN

앞서 resNet은 출력을 처음부터 만드는게 아닌 입력에서 얼마나 수정할지만 학습하는 잔차학습이라했다 .

https://standout.tistory.com/1773

ResNet, 역전파를 그대로 사용하되 Residual Connection을 추가한 CNN

 

 

 

이 resNet과 닮은 신경망이 있다면 GAN/CycleGAN이다. 

전차학습, 즉 함수를 직접 새로 만드는 것이 아니라 기존 입력을 기준으로 변화량을 학습한다. 

특히 CycleGAN은 특히 ResNet이랑 더 직접적으로 강하게 연결되는데 변환함수가 정보를 크게 파괴하지않고 복원 가능한 수준의 변화만 하기 때문이다 .

 

GAN게임

생성적 적대 신경망 Generative adversarial network

GAN은 최근 딥러닝 연구중 가장 독창적인 결과물중 하나

용어의 순서대로 만들어지고 서로 더 뛰어나기 위해 결쟁하는 adverserial network 신경망이다. 

 

위작을 만들어내는 역할이 생성자 generator 신경망, 도덕성을 갖추지않은 감별사가 discriminator식별자라면 대부분의 딥러닝 아키텍처와 비교할때 이례적인 두개의 신경망을 사용한 디자인은 GAN 게임에서 믿을 수 없는 높은 수준의 결과를 만들어낸다.  훈련이 끝날때즈음에는 생성자는 그럴싸한 가짜 이미지를 만들어내고 식별자는 더이상 진짜와 가짜를 구별 할 수 없다. 

GAN은 맞추는 문제가 아닌 게임이다. 서로 성능을 높이며 경쟁한다. 

적대적 학습,

 

딥페이크, 이미지 생성, 얼굴생성에 잘 사용된다. 

 

 

 

 

 

 

사이클 GAN

Cycle Consistrncy 순환 일관성이 핵심 아이디어. 즉 말 - 얼룩말 - 말 결과가 원래 말과 같아야함.

GAN 이 두개이다. 

Generator A → B 말에서 얼룩말로

Generator B → A 얼룩말에서 말로

핵심 학습 조건은 adversarial loss, 진짜처럼보이게하고(포샵을 잘하란 소리와같다), cycle consistency loss 다시 원래 도메인으로 돌아오면 같아야한다 .

 

훈련셋에서 매칭된 쌍을 제공하지않아도 도메인에 대한 이미지를 다른 도메인으로 바꿔준다.

말 사진을 얼룩말로 만들거나 얼룩말을 말사진으로 만들거나.

다른 이미지 분포값을 가진 그림에서 시작해 목표에 핻ㅇ하는 이미지 분포값과 일치하는 이미지를 만들도록 학습한다. 여기서 생성자와 식별자 또한 있다. 두 식별자 신경망은 모두 속일때까지 훈련하는 사이클 GAN.

 

각도가 동일한 말과 얼룩말 사진이 필요하지않다는 점이 재미있다. 서로 관련없는 말과 얼룩말 이미지 모음만으로 충분히 생성자가 학습을 하고 이는 지도학습 설정과 그 불편함을 뛰어넘는다. 

사이클 GAN 신경망은 이미지넷 데이터셋에 있는 말과 얼룩말 이미지로 훈련된 상태이다. 신경망은 이미지의 다른 부분을 최대한 건들이지 않으며 말 사진을 얼룩말 사진으로 바꾸도록 학습한다. 이 는 인류가 수천년동안 숨죽여 기다려왔다.

 

ResNetGenerator()를 만들어 말과 얼룩말 사진으로 학습된 모델을 가져와 eval(), 정확한 형태와 크기를 가지도록 transforms.Compose(), img를 open해본뒤 preprogress() 전처리 후 batch_t = torch.unsqueeze , batch_t 전달. 그리고 이미지로 변환해 출력해보면 말 사진이 얼룩말로 포토샵하듯 바뀌어있다.  이런 모델은 앞으로 여러 창작과정을 돕는 미래 지향적인 도구로 사용될 것이다.