뉴럴토크 NeuralTalk: 이미지를 보고 문장으로 설명을 생성하는 모델

앞선 GAN은 생성모델으로 진짜같은 이미지를 생성하는 모델이라고 했다 .

그러면 이 이미지가 가짜인지 혹은 이 엉터리 그림들이 어떤 그림인지 설명하는 모델도 있을까? 있다!

Neural Talk은 이미지를 설명하는 모델이다 .

https://standout.tistory.com/1791

상대적 적대신경망 GAN게임 & 순환 일관성이 보장되는 포토샵신경망 사이클 GAN

 

뉴럴토크 NeuralTalk

이미지를 보고 문장으로 설명을 생성하는 모델 Image Captioning

CNN(이미지 특징 추출) -> RNN/LSTM(문장생성) -> 출력 순이다. 

https://standout.tistory.com/1537

딥러닝: Deep Neural Network (DNN), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN)

 

data 디렉토리에 이미지 몇개를 놓고 스크립트를 실행하면 이미지에 대해 설명한다. 

말을 타고있는 사람사진을 올리면 잘 설명하나

말만 포토샵된 얼룩말을 탄 사람사진을 보고는 얼룩말을 두마리 이상일것이라고 예상했다. 

얼룩말에 탄 인간을 본적이 없기때문이라 유추되는데 불가능한 상황을 적어도 주제를 제대로 파악할 정도로 충분히 유연한 인식이 가능해졌다는 점을 이해해보자.