기계학습 기반 이미지 처리 유형

 

Pix2pic(Paired Image-to-Image Translation)

• 흑백 영상을 컬러 영상으로 바꾸는 것
• 컬러 영상은 누구나 쉽게 모을 수 있고, 이와 Pair를 이루는 흑백 영상은 간단히 만들 수 있으므로, Pair로 있는 Data를 모아서 CNN을 기반으로 학습시켜 문제를 처리함

* CNN(Convolutional Neural Network) : 이미지, 비디오, 텍스트 또는 사운드를 분류하는 머신 러닝의 한 유형

 

CycleGAN

• CycleGAN는 도메인 사이의 image style transfer에 사용되는 Generative Adversarial Network(GAN)
• CycleGAN 의 목표는 두 개의 도메인 X 와 Y 사이의 mapping function 을 학습하는 것

* GAN(Generative Adversarial Network) : 생성적 적대 신경망, 두 신경망 모델의 경쟁을 통해 학습하고 결과물을 만들어낸다.

 

GAN

• 비지도학습(unsupervised learning)으로 수행되어 두 도메인 모두에서 영상을 일대일 매핑을 하지 않는다.
• Paired Data를 를 얻는 것은 어렵고 비용이 많이 들 수 있다.
• 말 형태를 보존한 채 얼룩말로 무늬만 넣어줄 때, Paired Data처럼 똑같은 포즈를 가진 얼룩말을 구하는 것은 쉽지 않다.

 

CycleGAN #2

• Generator : ‘그럴듯한 가짜’를 생성 모델
• Discriminator : 진짜를 감별하는 모델

• CycleGAN의 가장 큰 단점은 모양을 바꾸기가 어려움
• 데이터 분포의 어려움

 

StarGAN

• 기존의 image-to-image translation 연구는 3개 이상의 도메인에서 안정적으로 동작하지 않음.
• 두 도메인의 짝이 다른 짝과 독립적으로 학습되기 때문.
• 예를들어 도메인이 3개일 때는 3X2개의 generator가 필요해짐

Domain

• Domain이란, 이미지 내 물체(여기선 얼굴)가 갖는 특성들의 영역을 말한다. 즉 동일한 특성을 갖는 경우, 동일한 Domain이라고 한다. Ex) Female Domain, Male Domain, etc
• Multi Domain은 다중 특성을 의미하며, multi domain transfer는 여러 개의 특성을 변환하는 것을 말한다. Ex) Female Blond,  Male Brown

	# Dataset	# classes	Size
CelebA (CelebFaces Attributes) 얼굴의 속성	202,599 Train:200,599 Test:2,000 (random)	40 중 7 특성 사용 머리 색(3) /성(2)/연령층(2)	Original-178x218 Resize1-178x178 Reseeize2-128x128
RaFD (Radboud Faces Databes) 얼굴 표현	4,824 * 67 people	8	Original-256x256 Resize-128x128