::고려대학교 DMQA 연구실::

Lab. Activity

 

 

 

Lab. Activity>Seminar  

Generative Adversarial Network and Its Application (발표자: 박영준)

작성자 관리자 작성일 2016-12-03 오후 12:09:22
내용

발표자 Summary

 

박영준

이번 세미나에서 다룬 내용은 generative adversarial autoencoder (GAN) 와 이를 응용한 연구다. 먼저 GAN을 이해하기 위해 generative model이 무엇인지, 특히 GAN의 연구배경이 되는 autoencoder를 이용한 generative model을 다뤘다. Generative model은 데이터를 발생시키는 모델로 고차원, 비선형 분포를 갖는다고 알려진 이미지 데이터에 대해서는 주로 autoencoder를 이용한 모델이 사용된다. 하지만 autoencoder 역시 모델로 만든 이미지의 품질이 낮은 한계가 있어 이를 극복하기 위해 GAN이 제안되었다. GAN은 분류기와 생성기 두 개의 독립적인 모델이 minimax 게임을 통해 협동하여 궁극적으로 좋은 생성기(generative model)를 학습시킨다. 이번 세미나에서 소개한 GAN 응용 연구는 특정 조건을 만족하는 데이터를 생성할 수 있는 conditional generative model에 관한 연구다. 연구에서 소개하는 방법론은 특히 자연어 형태의 텍스트가 주어졌을 때, 텍스트가 설명하는 이미지를 생성하는 연구에 활용되었다. 이를 위해 제안하는 연구에서 GAN에는 자연어를 이해하기 위한 RNN과 이미지를 이해하기 위한 CNN의 구조가 동시에 사용되었다. Autoencoder와 관련된 많은 방법론은 generative model로 확장되어 연구되고 있다. 오늘 세미나에서 소개한 논문은 데이터를 만들어낼 수 있는 generative model이 실제 어떻게 응용될 수 있는지 알려주는 좋은 사례라고 할 수 있다. 

 

청취자 Summary

 

유재홍
금일 세미나는 Generative Adversarial Networks에 대한 소개와 이를 응용한 사례를 주제로 진행되었다. Generative Model은 가용한 데이터의 수가 적은 경우에 분포를 추정하여 새로운 데이터들을 생성하는 방법론으로 EM을 활용하거나 MCMC 등을 활용하게 된다. 하지만, 이미지나 텍스트 데이터와 같이 추상성이 높은 정보를 내포하고 있는 데이터에 대해서는 이러한 기법들을 그대로 적용하는 것은 많은 어려움이 따른다. 이를 극복하기 위해서 Deep Learning 기법을 적용할 수 있다. 특히, 금일 세미나에서 논의된 Generative Adversarial Networks (GAN)가 상당히 흥미로운 방법인데, 새로운 데이터를 생성하는 것이 비교적 어렵기 때문에 이를 생성데이터인지 원본 데이터인지를 판단하는 판단매개체 모델을 구축하고 이 모델의 성능을 향상시키기 위한 minimax 문제를 공식화함으로써 분석의 목적에 부합하는 우수한 데이터를 생성하게 된다. 상당히 흥미로운 세미나였고, 이 방법론을 semi-supervised 분야에 적용하여 기존의 분포를 추정하여 데이터를 생성하는 방법론들과 비교해보는 것도 좋을 것 같다는 생각이 들었다.

 

최우식
이번 세미나에서는 autoencoder 등의 신경망 구조를 이용하여 텍스트로부터 이미지를 생성하는 연구에 대해 확인할 수 있었다. 딥러닝 초기에도 이러한 연구가 지속적으로 진행되고 있었는데, 점점 결과가 완성형에 가깝게 형성이 되고 있는 것으로 생각이 된다. 논문에서 서술된 generative adversarial networks (GAN)의 구조에 대해서는 학습을 해봐야 알 수 있겠지만, 기존 연구에서는 사람이 판단하기에 허점이 될 수 있는 부분을 GAN 구조를 통해 보완할 수 있도록 하고, 세부적인 연구로 특정 텍스트를 이용하여 학습된 그림들의 일부 특징만을 바꿀 수 있도록 하는 이러한 전체적인 과정 자체가 매우 인상적이었다. 원하는 결과를 도출하기 위해 어떠한 모델을 만들어야 하는지 많은 고민을 했을 듯 하며, 개인적으로도 이론과 실제를 모두 잘 반영할 수 있도록 제안하고자 하는 모델을 어떻게 구성해야 하는지를 잘 생각하도록 해야겠다.

 

박성호
요즘 출간되는 많은 책들을 살펴보면, 표지 및 책 안에 간간이 글의 묘사를 돕기 위해 삽화가 들어가 있다. 금주 세미나에서는 인공지능 illustrator로 간주 될 수 있는 generative adversarial network(GAN) 모델이 소개되었다. 특히, 본 세미나에서 소개된 GAN 모델은 주어진 자연어 형태의 텍스트가 묘사하는 이미지를 generation하는 알고리즘이다. 특징적으로는 그림을 생성하는 generator network이외에, 진짜 그림(training image)과 가짜 그림(synthetic image) 구별해주는 discriminator network 도입하고 두 network를 하나의 loss 함수 하에서 학습시킨다는 것이다. Discriminator network 도입은 generator network가 그림을 매우 정교하게 묘사 할 수 있도록 도와주는 것이다. Deep learning 기반의 인공지능 연구 속도가 얼마나 빠르게 발전하고 있는지 다시 한번 확인 할 수 있는 자리였고, 앞으로 연구실의 많은 연구원들이 그 흐름에 뒤쳐지지 않고 선도 하길 기대해 봅니다.

 

김영훈
오늘은 Deep Learning 을 활용한 Generative Model 에 대해서 공부할 수 있는 시간이었다. Machine Learning 모델을 만들 때 우리는 두 가지 관점을 가지고서 모델을 만들 수 있다. 먼저 우리가 분류 또는 예측하고자 하는 Y 를 X 가 설명해준다고 보는 관점이 있다. 반대로 X 가 결정되면 이를 기반으로 Y 를 생성해낸다고 보는 관점이 있다. 전자를 일반적으로 Discrimitive 라 하고, 후자를 Generative 모델이라고 한다. 간단한 형태의 모델에서는 이 두 관점을 동일하게 적용했을 때, 최종적인 결과는 동일하게 나오는 경우가 많다. 하지만 복잡한 모델의 경우에서는 일부 관점으로만 모델링이 가능해지는 경우가 생기게 된다. 오늘 소개 받은 GAN 은 Generative 모델의 관점으로만 디자인이 가능한 모델이라고 할 수 있다. 다양한 응용 사례가 있겠지만 오늘 세미나에서는 문장을 입력 받고 이를 그림으로 환원시키는 Generative Model 에 대해서 소개를 받았다. 입력받은 문장을 조건부로 하는 확률 함수를 생성하고 여기에서 생성되는 임의의 수를 입력값으로 하여 그림을 생성하는 구조를 학습하는 방법이었다. 기존까지 Deep Learning 관련한 연구들을 보았을 때는 분류나 예측을 어떻게 하면 잘 할 수 있는지와 같은 인식에 대한 연구가 활발했다면, 앞으로는 정말 사람과 같이 이미지를 떠올리고 소리를 만들어 내는 생성에 대한 연구도 크게 발전할 것 같다. 참 인상적인 내용이었던 것 같고, 앞으로 어떠한 발전이 이 분야에서 일어날 수 있을 지 기대가 많이 된다.

 

이한규
일반적으로 사용하는 Discriminative 모델은 주어진 데이터를 통해 decision boundary를 찾지만 Generative 모델은 주어진 데이터를 통해 데이터 원래 분포를 추정하게 된다. 따라서 해당 모델을 통해 데이터 분포를 추정하고 그 분포내에서 임의의 데이터를 생성하므로써, 오히려 사용자 또는 분석자가 원하는 형태의 데이터를 생성할 수 있게된다. 텍스트 생성 또는 이미지 생성을 한다고 가정할때, 이러한 접근법은 더 효율적이라 생각된다. 그러나, 생성되는 이미지 혹은 텍스트가 (정확히는 적합한 분포에서 추정되어 생성된) 사람이 보고 판단하기에 말도 안되는 형태가 생성될 여자는 항상 가지고 있게된다. 오늘 세미나에서 다룬 Generative Adversarial network (GAN)방법은 이러한 데이터 생성기에 분류기라는 판단개체를 혼합하여 사람이 보기에도 그럴듯한 데이터를 생성하는 것에 그 목적이 있다. 따라서 결과에서 같이 논의 했듯이 실제 텍스트만을 통해서 텍스트가 설명하고자 하는 것과 가장 유사한 이미지를 직접 그리는 것을 확인 할 수 있었다. GAN에 대해 연구가 진행된다고 하였던 만큼 기본적인 로직 또는 컨셉을 다른 곳에 활용할 수 있다면 좋을것으로 생각된다.

 

이상민
Generative Adversarial Network (GAN)은 인공지능 기법을 통해 미학습 영역을 포함한 산출물을 도출하는데 큰 도움이 된다. 대표적으로 분류문제에 있어 hole problem에 대한 접근방식과 같이 잘못된 데이터(noisy data) 학습을 병행함으로써, 올바른 방향으로의 guidance를 더욱 명확히 하는 기법이다. 뚜렷한 목적을 갖고 한정된 영역 내 완벽한 수준(?)의 잘못된 데이터가 확보 된다면 제대로 동작할 수 있을 것이다. 사람의 기대치(expectation)에 가장 근사한 답변을 말이든 글이든 그림으로 표현하는 인공지능 기법이 되리라 본다. 학습의 방향을 guidance한다는 측면에서 강화학습(reinforcement learning)과 상당히 유사한 측면이 있다. (기본적으로 MDP 기반의 학습전략은 큰 효과를 볼 수 있을 것으로 보인다.) 이와 같은 기법들의 주된 문제의식은 기계학습 모델의 성능(정확도 등) 기대치 대비 충분한 데이터가 확보되지 못하다는 점에 있다. 그러므로, 유사 문제사항을 공유하는 타 영역에서도 응용가능한 연구가 병행될 수 있을 것이다. 박영준 연구원이 관련된 좋은 연구를 많이 해주기를 기대해본다.

 

박찬희
분류 모델은 결정경계선을 이용한 discriminative 모델과 각 클래스에 속한 데이터 분포를 이용하는 generative 모델로 나눌 수 있다. 최근 autoencoder를 이용한 generative adversarial network (GAN)이 제안되었다. GAN은 denoising autoencoder와 markov chain을 결합한 generative model로서 autoencoder의 한계점이라고 볼 수 있는 hole problem을 극복할 수 있다. GAN의 가장 큰 특징은 실제 데이터에 기반하여 유사한 관측치를 생성하여 분류기의 성능을 향상시키는 것에 있다. 또한 텍스트를 입력하여 그것에 대응하는 이미지를 출력할 수 있는 모델 구축에도 응용되고 있다.

 

곽민구
금일 세미나는 Generative Adversarial Network에 관한 주제로 진행이 되었다. Discriminative Model과는 달리 Generative 모델은 분포를 모델링하여, 데이터를 생성하는데 그 목적이 있다. 이미지 데이터를 생성하기 위해 Autoencoder가 많이 사용되며 Denoising Autoencoder와 Markov Chain을 결합한 모델도 있다고 한다. 그러나 데이터가 약간만 변해도 모델의 성능이 많이 변하고, 숫자 데이터를 생성했는데 생성분포 내에 숫자가 아닌 데이터가 만들어지는 등의 여러 문제가 있다. 이를 해결하고 그럴듯한 데이터를 생성하기 위해 분류기와 생성기를 결합한 모델이 GAN이다. Minimax를 이용하여 생성기와 분류기를 동시에 학습시켜 분류기가 데이터를 잘 분류하지 못할 정도의 데이터를 만드는 것이 궁극적인 목적이다. GAN을 적용시켜 텍스트와 이미지 데이터를 사용하여, 원하는 데이터에 대한 설명을 텍스트로 입력을 해 주었을 때 해당하는 이미지를 모델이 생성하는 적용사례 또한 소개되었다. 최신 방법론의 목적과 방법, 적용 사례까지 들을 수 있는 유익한 시간이었다.

 

이슬기
오늘 세미나는 문자를 넣어서 사진을 만들어 내는 딥러닝 연구논문인 Generative Adversarial Network에 대해 다루었다. 딥러닝 분야가 하루가 멀다 하고 새로운 연구와 논문이 나오는 것이 매우 놀랍다. 본 세미나에서 소개한 논문은 단순한 representation을 넘어서 분류기를 같이 사용하였다. 그림을 생성하는 generator network 모델과 training image와 synthetic image를 판단하는 discriminator network 만들어서 두 모델을 하나의 loss function으로 minmax game 방식으로 학습시킨다. 인공지능의 대표주자인 딥러닝 연구가 얼마나 더 사람을 닮아갈지 기대가 된다.

 

 

도형록

금일 세미나는 generative adversarial network에 대해 진행되었다. 최근 몇 년간 deep neural network에 대해 활발한 연구가 진행되고 있으며, 특히 분류 문제에 있어 압도적인 성능을 나타내고 있다. 최근에는 neural network를 discriminative model이 아닌, generative model의 관점에서 접근하는 연구들이 발표되고 있다. 주어진 데이터를 통해 decision boundary를 학습하는 discriminative model과 달리, generative model은 데이터의 분포, 또는 클래스가 주어졌을 때의 데이터 분포를 학습하며, 잘 학습되었을 경우 discriminative model보다 유용하게 사용할 수 있다. 가장 기초적인 연구로는 주어진 데이터를 stacked autoencoder를 이용하여 학습하고, Markov chain Monte Carlo를 사용하여 학습한 autoencoder로부터 sample을 generation하는 것이다. 이러한 접근은 고차원의 복잡한 데이터 분포를 학습하는데 효과적이러고 알려져 있다.  세미나 발표자가 소개한 generative adversarial network는 autoencoder 기반 generative model의 단점을 해결하기 위해 제안된 모델이다. 기존 접근 방식의 경우 이미지 데이터를 학습하고 sampling할 경우, 사람이 보기에 의미없는 그림들을 다수 생성하게 되는데, 이를 두 개의 대립하는 generator network와 discriminator network를 도입하여 해결하였다. 그럴듯한 데이터를 생성해내기 위해 실제 데이터와 생성 데이터를 구분하기 어렵도록 학습한다는 아이디어가 흥미로웠다.

 

강현구

오늘 세미나는 Generative Adversarial Networks(GAN)와 관련된 논문 및 응용 분야를 공유하는 방식으로 박영준 연구원의 주도 하에 세미나가 진행되었다. 딥 러닝 알고리즘을 이용한 기법들 중에서도 비교적 최신 기법에 속하는 GAN은 generative model 계열의 알고리즘에 속한다. 우리 연구실은 주로 discriminative model을 주로 공부해와서 잘 몰랐지만, 최근 기계학습 연구의 세계적인 동향을 봤을 때 generative model에 대한 연구가 대세를 이루어가고 있는 것 같다. 딥 러닝 연구가 가장 활발히 진행되고 있는 computer science 분야 내 연구의 궁극적 목표는 사람과 대등한 수준의 인공지능을 만들어내는 것이기 때문에 generative model에 다들 관심을 가질 수 밖에 없는 것 같다. 그 이유는 지능이란 기존에 존재하는 것을 이해하기만 하는 것이 아니라 (discriminative 관점), 학습한 것을 토대로 새로운 것을 생성해내는 능력 (generative 관점)을 가져야 하기 때문이다. 실제로 NIPS 2016에서 GAN에 대해서만 튜토리얼이 몇 시간씩 진행될 정도이다. 아직 완숙한 분야가 아니기 때문에, 지금부터라도 관심을 갖고 딥 러닝 기법을 이용한 다양한 generative model에 관심을 가질 필요가 있다고 생각한다. 우리 연구실에서 주로 다루는 데이터에는 딥 러닝이 큰 강점을 가지지 못하기 때문에 큰 매력을 느낄 수 없을 지 모르지만, 딥 러닝 기술은 기존의 기계학습 알고리즘으로 불가능했던 일들을 해내고 있다는 점에서 소홀히 해서는 안되겠다는 생각이 더욱 커졌다. 

 

손지은

Generative model 중 Generative Adversarial Network 알고리즘과 적용사례를 소개하였다. Discriminator와 Generator를 통해 minimax 학습을 하였는데 어플리케이션 별 objective function과 그에 따른 결과가 매우 흥미로웠다. Generating images from text 실험에서는 CUB dataset과 다양한 Term을 추가하여 실험을 진행하였는데 Term 특성을 파악하고 작동하는 매커니즘을 상세히 이해한다면 보다 구체적인 활용이 가능하겠다. 결과에 대해 Variation을 주기위해 Generator Network에서 노이즈를 입력변수로 사용하였는데 노이즈의 정도와 Variation의 관계를 파악하는것도 중요하겠다.

 

 

 




이전글
다음글

(136-713) 서울시 성북구 안암로145 고려대학교 자연계캠퍼스 신공학관 211호 | TEL.02-3290-3769
고려대학교 산업경영공학과 데이터마이닝 및 품질애널리틱스 연구실. All Right Reserved. 개인정보처리방침