::고려대학교 DMQA 연구실::

Lab. Activity

 

 

 

Lab. Activity>Seminar  

2017년 2월 27일 연구실 전체세미나 (발표팀: Machine Learning Research Group)

작성자 관리자 작성일 2017-03-02 오후 10:06:54
내용

발표자 Summary


이한규

요즘 연구분야인 generative adversarial nets (GANs)에 대해 연구원 모두에게 공유할 수 있는 기회였다. 이미 기존에 한차례 세미나를 통해 다들 대략적으로 알고 있었기에 이번 세미나는 조금 구체적으로 두개의 모델이 어떤식으로 작동하는지를 공유하고자 하였다. GANs은 2개의 모델(discriminator nets(D)과 generative nets(G))로 구성되어 있으며 서로 적대적인(adversarial) 학습을 통해 새로운 샘플을 생성하는 generative model이다. random noise로 부터 생성된 임의의 데이터를 G를 통해 새로운 샘플을 생성하고 D를 활용하여 실제샘플, 생성샘플을 구분하게 된다. G는 D가 점차 실제와 생성샘플을 구분할 수 없도록 학습이 진행되는 반면, D는 G에서 생성된 샘플을 잘 구분하는 방향으로 학습을 진행하게 된다. 학습이 진행될수록 초기에 random noise가 점차적으로 실제데이터의 분포와 비슷하게 변하게 되며 수차례의 학습이후에는 실제데이터와 상당히 유사한 데이터 생성이 가능해진다. 2014년 GAN이 발표된 이후, 외부정보(e.g., class lable)을 활용한 conditional GAN과 MLP대신 CNN을 적용한 deep convolution GAN (DCGAN) 그리고 정보이론을 결합한 infoGAN 등 최근에도 다양한 연구들이 나타나고 있다. GAN 모델이 global optimal로 수렴함으로써, 안정적으로 실제와 동일한 샘플을 생성할 수 있다는 장점이 있지만, 생성된 대부분의 샘플이 큰 차이가 나타나지 않는 단점이 있다. 즉, G로 생성된 샘플은 대체적으로 유사한 형태 또는 패턴을 보이게 된다. 아직까진 이에대한 명확한 해답이 없으나 최근 발표된 논문에 의하면 이러한 유사한 패턴을 갖는 결과에 다양성을 부여하기 위한 다양한 연구 및 실험이 진행되고 있어 앞으로 GAN모델에 대해 지속적인 개선이 될 것으로 생각된다. 더불어 대부분 연구들이 image를 생성하는 데 촛점을 맞추고 진행되고 있어, 제조 및 여타 다른 분야에 적용하는 것도 application 연구로써 좋은 시도가 될 수 있을 것이라 생각된다.


손지은

시퀀스데이터의 특징을 파악하고 미래 값을 예측 하는 데 있어 기존에는 LSTM, Scheduled sampling 등의 기법이 사용되었으나 Object function 사용에 있어 많은 문제점이 제기되어져 왔다. 이후, Generative adversarial network(GAN)를 통한 시퀀스데이터 생성에 대한 연구가 진행되어져 왔으며 2016년 Lantao는 기존 GAN과 강화학습 기법을 접목시킨 방법론 SeqGAN을 제안하였다. 이는, 시퀀스데이터의 특성상 GAN 적용이 가지는 한계점이 가지는 문제점들을 해결하고자 하였으며 실제데이터를 통한 실험결과를 보여줌으로써 방법론의 우수성을 입증하였다. 세미나에서는 시퀀스데이터에 GAN을 바로 적용할 수 없는 이유와, SeqGAN이 이런 문제를 해결하기 위해 Gradient policy를 어떻게 적용하였는지에 대해 초점을 맞추어 설명하였다. 해당 논문이 제공하는 오픈소스를 완벽히 이해하지 못하고 세미나를 발표한 점이 아쉬웠으며, 내용면에서는  문서생성, 음악생성등의 어플리케이션에서 주로 활용되는데 평가방법이 적절한 것인지에 대해서도 의문이 있었다. 강화학습에 대한 이해, SeqGAN의 소스코드 이해, 새로운 성능 평가방법 등에 대한 고찰이 필요하다고 생각되었다.


유재홍

금일 세미나에서는 Smoothness Assumption을 반영하기 위한 Kernel 기반의 Semisupervised Learning 기법들을 소개하였다. Semisupervised Learning이란 레이블이 부여된 데이터의 수가 상당히 적고, 레이블이 없는 데이터가 많은 경우에 보다 우수한 학습을 하기 위한 방법론으로, Label을 추정하는 방식에 대한 가정으로 Smoothness Assumption, Cluster Assumption, Manifold Assumption으로 구분할 수 있다. 금일 세미나에서는 이러한 가정들 중 Smoothness Assumption을 집중적으로 다루었는데, 이는 인접한 이웃일 수록 동일한 레이블을 가질 확률이 높다는 가정이다. 이 가정을 활용하는 방식들 중 Kernel Function (또는 Feature Mapping)을 기반으로 하는 기법들이 있다. Kernel Function을 기반으로 하는 기법들은 Kernel을 활용하는 다른 기법들 (SVM, Kernel Regression 등)으로의 확장이 용이하다는 것과, 새로운 Testing Data로의 확장 (Inductive Learning)이 가능하다는 장점으로 인해서 널리 활용될 수 있다. 기존에는 Tiknohov Regularization 기법을 활용할 수 있다. 이 기법은 Loss Function과 Model의 Complexity를 조절할 수 있는 부분을 목적식에 포함함으로써 Overfitting을 극복하기 위한 방법이다. Kernel Function을 활용하는 기법들은 Overfitting된 모델을 도출하는 경향이 존재하며, 또한, 모델을 구성하는데 활용되는 데이터의 수가 상당히 적다는 상황에서 모델은 Overfitting되기 쉽다고 알려져 있다. 이러한 문제를 해결하기 위해서 Kernel기반의 Semisupervised Learning 기법들은 모두 Tiknohov Regularization 기법에 기반을 두고 있다. 하지만, 이러한 기법들은 구축된 모델이 Labeled Data에 대해 편향될 수 있다는 문제점이 존재한다. 즉, 기존의 Kernel 기반의 Semisupervised Learning 기법들은 데이터의 분포 구조를 반영하는데 있어서 Labeled Data만을 활용하는데 이러한 소수의 데이터들이 데이터의 분포구조를 효과적으로 대표할 수 없다. 이를 극복하기 위해서 두 가지 Kernel 기반의 방법론들 (Manifold Regularization과 Laplacian Kernel Design 기법)이 제안되었다. 이들 중 Manifold Regularization 기법은 Loss Function, Model의 Complexity 뿐만 아니라, Smoothness Assumption을 반영할 수 있는 부분을목적식에 포함함으로써 Label이 데이터에 내재된 Manifold 구조에 따라 Smooth하게 추정되도록 한다. 이 기법은 Smoothness Assumption을 반영하기 위해서 Local Graph Structure을 기반으로 Laplacian Matrix를 계산하여 이를 바탕으로 최종적인 Label을 추정하게 된다. 데이터의 Manifold 구조를 반영하기 위해서 전체데이터 (Label Data 및 Unlabeled Data)를 모두 활용함으로써 데이터의 분포 구조를 보다 효과적으로 반영할 수 있다.


최우식

이번 세미나는 개인적으로는 새로운 연구주제인 semi-supervised regression에 대해 다루었다. Semi-supervised regression은 레이블이 있는 데이터와 없는 데이터를 동시에 활용하는 regression 방법이다. 이러한 방법은 데이터의 manifold 구조, 조금 다른 관점에서 보면, 데이터의 지역적 패턴을 잘 활용해야 하는 특징이 있다. 따라서 데이터의 지역적 패턴을 활용할 수 있는 기존의 방법론인 KNN regression, kernel regression, support vector regression (SVR)에 대해 설명하였고, 이러한 방법을 활용한 semi-supervised regression 알고리즘인 COREG, semi-supervised kernel regression, semi-supervised SVR에 대해 설명하였다. 다만, 지금까지 제안된 대부분의 semi-supervised regression 방법들은 구조적인 한계로 인하여 데이터가 내포하고 있는 다양한 상황들에 맞추어 작동하지 않는다는 단점이 있다. 대표적인 상황으로는 multimodality 및 data shifting 문제가 있고, 이를 다룬 논문은 아직 극소수만 존재한다. 이러한 문제들을 극복할 수 있는 방법에 대해 더 고찰을 할 계획이다.

 

청취자 Summary


정영재

첫 그룹 세미나로 4명의 발표를 들었다. 주제는 Semi-Supervised Learning (SSL)와 Generative Adversal Network (GAN)로 각 주제로 2명씩 발표하였다. 본 세미나는 또 다른 의미를 갖는 것이 졸업생으로써 듣는 첫 세미나였다. 졸업생에게도 세미나 참여를 허락해준 교수님과 연구원들에게 감사하다. 본 세미나에서는 SSL과 GAN 파트로 구성되었는데, 이를 통해 최근 관심이 많아진 방법들에 대한 정보를 얻을 수 있어서 좋았다. 더불어 추가적으로 준비된 프로젝트 관련 PT에서 Sequence Data에 대한 모델 필요성을 알게 되어 매우 도움이 되었다. 발표는 GAN에 대하여 한규형과 지은누나, SSL에 대하여 재홍이와 우식이의 발표로 진행되었다. GAN 파트에서 한규 형의 발표를 통하여 GAN의 전반적인 개념에 대해서 알게 되었고, 지은 누나의 발표를 통해 최근 GAN이 어떤 식으로 연구가 이루어지고 있는지를 알게 되었다. 아직은 GAN에 대한 구체적인 개념이 없지만 향후 알아보면 재미있을 것 같다. SSL의 경우 기존에 대강 알고있던 내용이였지만 SSL에서 어떤 가정을 해놓고 문제를 접근하는지 그리고 어떤 상황을 추구하는지와 이를 식으로 어떻게 표현했는지에 대한 설명을 재홍이와 우식이에게 들을 수 있어서 좋았다.

 

김영훈

오늘 세미나는 Machine Learning Research Group 이 그동안 공부하고 연구했던 내용에 대해서 들을 수 있는 유익한 시간이었다. 크게 두 가지 내용에 대해서 들을 수 있었는데, 첫번째는 GAN 과 그 파생 방법론인 seqGAN 그리고 두번째는 Manifold Regularization 을 이용한 Semi-supervised learning 에 대한 내용이었다. GAN 은 최근 Machine Learning 연구 관련해서 가장 주목받고 있는 연구들 중에 하나이다. 게임이론에 기반하여 Generator 와 Discriminator 를 경쟁시키며 실재 이미지들과 굉장히 유사한 이미지들을 만들어내는 방법에 대한 연구이다. 이는 주어진 데이터들의 분포를 추정하는 Unsupervised Learning 방법론인데, 고차원에서 복잡한 분포 구조를 가지고 있는 데이터의 분포를 학습하고 이를 이용해 데이터를 생성해내는 과정이 굉장히 흥미로웠다. 새로운 데이터를 만들어낼 때 데이터의 특성에 따라서 다양한 GAN 방법론이 연구되고 있는데, 특히 Sequence 데이터에 적합하도록 변형한 것이 seqGAN 이다. 이 방법론은 기존의 GAN 이 Sequence 가 있는 데이터에 적합하지 않다는 점에 착안해서 Reinforcement learning을 이용해 Sequence 생성에 적합하도록 모델을 추가 학습시킨다. 이를 통해서 다양한 문장이나 음악의 멜로디를 생성해낼 수 있다. 매체들에서 인공지능으로 음악을 작곡한다는 내용들이 간간히 보이는데 이러한 방법론들이 적용되고 있구나라는 것을 배울 수 있었고 상당히 흥미로웠다. GAN에 대한 내용 다음에는 Manifold regularization 을 이용한 Semisupervised Learning에 대해서 들을 수 있었다. Label 되있는 데이터와 그렇지 않은 데이터가 있을 때 Label이 없는 데이터까지 활용해서 데이터들의 지역적인 패턴들을 찾아내고 이를 Label 정보와 결합해서 모델을 학습시키는 방법이다. Label 이 있는 데이터가 많지 않을 때 효과적으로 이용할 수 있는 방법으로 Classification 과 Regression 에 적용시킬 수 있는 세부적인 내용들에 대해서 들을 수 있었다. 이 내용들을 들으면서 다양한 조건들이 만족되야 겠으나 일단은 Unsupervised learning 관점에서 Cluster 구조들을 명확히 찾아내는 것이 가장 중요하겠다는 생각이 들었다. 결국 우리가 Class 와 매칭되는 Cluster 를 잘 찾아낸다면 소수의 Label 데이터만 가지고도 충분히 다른 관측치들의 Label 을 정확히 추정할 수 있기 때문이다. 현재 연구하고 있는 내용이 Semisupervised learning 의 성능 향상에 도움이 될 수 있을 거 같아서 흥미롭게 잘 들었던 것 같다.


도형록

금일 세미나는 에서 그간 연구했던 내용들을 정리하여 발표하는 자리였다. 크게 두 가지 주제로 나누어졌는데, 하나는 generative adversarial network에 대한 내용이었고, 다른 하나는 semi-supervised learning 중에서 kernel 방식을 이용하는 방법론에 대한 내용이었다.

세미나에서 초점을 맞춘 semi-supervised learning 중 inductive learning은 다수의 unlabeled data와 소수의 labeled data가 있는 상황에서 unlabeled data를 활용하여 supervised learning task를 일반적인 supervised learning에 비해 더 잘 수헹하고자 하는 기계학습 방법론이다. 하지만, unlabeled data를 사용하기 위해서는 어느정도 가정이 필요한데, 대표적인 것이 smoothness assumption과 cluster assumption이다. 본 세미나에서는 smoothness assumption을 기반으로 하는 방법론들 중, 커널 기반의 방법론을 소개하였다. 발표 내용 중 가장 흥미로웠던 것은 smoothness assumption을 반영하기 위해 estimated function의 gradient의 크기에 대해 regularize하는 term을 추가한 것으로, 간단한 아이디어이지만 기억하고 있으면 많은 분야에 응용할 수 있을 것 같다. 다른 하나의 주제는 최근 machine learning 커뮤니티에서 크게 유행하고 있는 generative adversarial net에 관련된 내용이었다. GAN은 synthetic data를 생성하는 generator와 synthetic data와 real data를 구별하는 discriminator로 이루어져 있다. Discriminator는 synthetic data와 real data를 잘 구분하도록 학습되고, generator는 discriminator가 synthetic data와 real data를 잘 구분하지 못하도록 synthetic data를 생성하는 방향으로 학습되며, 따라서 generator가 실제 데이터와 유사한 데이터를 잘 생성할 것을 기대할 수 있다. GAN은 최근 다양한 변형들이 제안되고 있는데, 세미나에서 소개된 모델은 가장 초기의 GAN과 sequence data를 제안하기에 적합하다고 주장하는 sequential GAN이었다. 세미나 발표자들은 GAN을 이용하여 oversampling을 시행하는 연구를 진행하고 있다고 한다. GAN을 잘 활용하기 위해서는 일반적인 generative model에 대해 더 자세히 연구해 보는 것도 좋을 것 같다.


이슬기

Machine Learning Research Group 의 세미나는 크게 GAN(Generative Adversarial Networks) 활용연구와 semisupervised learning 관련 연구를 다루었다. 새로운 방식의 세미나를 적용한 후 첫 세미나였기 때문에 시간이나 발표 내용수준 조절이 잘 안되었지만, 구성원 4명이 하는 연구들에 대해 충분히 파악할 수 있었다. 발표자의 대부분이 기존 방법들을 공부하는 단계에 있어서, 기존 연구에 대한 설명을 하고 연구 아이디어와 진행방향을 설명하였다. 이 그룹의 인원 모두 계획하고 있는 연구가 그룹세미나를 통해 잘 진행되길 바란다. 효율적인 전체세미나 진행을 위해서 앞으로 모든 그룹인원이 각자 발표하는 것 보다는 그룹 세미나를 통해 발전된 연구주제로 간단한 실험이 진행된 내용 1~2개를 선택하여 발표하는 것이 좋을 것 같다. 한 달에 한번 좋은 취지로 다같이 모일 수 있는 자리가 마련된 만큼 잘 이어갈 수 있는 방법을 고민해야겠다.

 

이민정

처음으로 참석하게 된 전체 세미나는 Machine Learning Research Group의 주도로 발표가 진행되었다. 금일 주제는 크게 이한규, 손지은 선배의 Generative Adversarial Networks와 유재홍, 최우식 선배의 Semi-supervised Learning로 나뉘었다.이전에 교수님께서 GAN에 대해서 과제를 내주셔서 공부해보았을 때 이해가 부족했던 부분, 또 그 전에는 알지 못했던 DCGAN, CGAN, InfoGAN을 비롯해 Sequence data를 generation하는 SeqGAN에 대해 들을 수 있었던 좋은 기회였다. 또 CGAN을 continuous한 y에 대해 적용할 수 있다면 Virtual Metrology Data에 적용될 가능성에 대해 교수님께서 짚어주셔서 좋은 insight가 되었다. 그리고 Semi-supervised Learning에 대한 overview를 진행해 주셔서 기초적인 부분까지 들을 수 있어서 이해에 큰 도움이 되었다. 특히 Transductive learning과 Inductive learning의 비교를 적절한 예를 들어 보여주셔서 이해를 잘 할 수 있었다. 또 Regularization term에 기존에 lasso, elastic net 정도의 종류 밖에 알지 못했는데 Tikhonov Regularization의 응용이 된 Manifold Regularization을 알게되었다. 전반적으로는 기본적으로 어떻게 세미나가 진행되는지 각 선배들이 어떻게 기존의 논문을 이해하고 연구로 발전시키시는지 살펴볼 수 있던 유익한 시간이었다. 


박찬희

Semi-supervised regression learning의 대표적인 방법론은 smoothness 가정에 기반하고 있다. Smoothness 가정이란 x의 분포 패턴에 따라서 y값이 smooth하게 변화해야 한다는 것이다. 일반적으로 k-NN graph를 이용해 x의 분포를 나타내고 그 변화량을 나타내는 penalty term을 regularization 목적식에 추가함으로써 모델을 구축할 수 있다. 이러한 방법들은 kernel 기법들과 결합되어 manifold regularization, Laplacian kernel design과 같은 방법들로 활발히 연구되고 있다. 분류모델은 generative model과 discriminative model로 나눌 수 있다. Discriminative model은 분류경계를 찾는 반면 generative model 모델은 각 클래스에 분포를 찾는 방법이다. Generative model은 단순히 특징을 찾고 클래스를 구분하는 것을 넘어 각 클래스에 속한 관측치를 만들어 낼 수 있다. 따라서 이미지와 같은 하나의 클래스가 다양한 형태로 나타날 수 있는 문제에서는 generative model이 유용하다고 알려져 있다. Generative adversarial nets (GAN)은 neural network 기반한 discriminative network와 generative network를 이용하여 각 클래스에 해당하는 새로운 관측치를 생성하는 방법이다. Generative network에서 생성된 초기 관측치는 discriminative network를 통해 분류되고 각 network에 해당하는 loss function을 최소화시키는 목적식으로 GAN이 구성된다. GAN은 semi-supervised learning에 응용될 수 있다. Unlabeled 관측치가 많을 경우 활용할 수 있는 방법이 semi-supervised learning라면 unlabeled 관측치 조차 존재하지 않을 경우 GAN을 통해 관측치를 생성할 수 있다. 또한 현재는 GAN은 unsupervised learning으로만 적용되고 있지만 label까지 생성할 수 있는 supervised learning으로 확장될 수 있을 것이다. 


박영준

금일 세미나는 우리 연구실의 machine learning research group (MLRG)에서 월례 정기 세미나를 개최하였다. MLRG에서는 크게 semi-supervised learning과 generative adversarial network (GAN)를 연구하고 있으며, 이와 관련하여 각자 진행하고 있는 연구내용을 세미나를 통해 공유했다. Semi-supervised learning 연구 주제에서는 공통적으로 manifold regularization에 기반한 내용을 소개하고 있다. 많은 기존 연구가 manifold regularization을 커널에 확장 적용하여 다루고 있는데 오늘 세미나에서 발표한 두 연구원도 커널을 이용한 방법론에 무게를 실어 발표했다. 개인적으로 semi-supervised learning을 연구하고 있어 관심있게 들었다. 이번 세미나의 두번째 주제인 GAN은 딥러닝 학계에서 많은 주목을 받고 있다. 본 연구주제에서 먼저 발표한 내용은 GAN 이용한 zero shot learning이다. 상당히 챌린지한 연구주제로 관심있게 들었다. 또 다른 발표에서는 seqGAN을 소개했다. 음계로 표시되는 음악을 만들어 낸다고 했을 때, 음계는 자명한 순서를 갖기 때문에 이를 고려할 수 있도록 seqGAN이 고안되었다. GAN을 학습하는데 있어 강화학습을 사용하는데 그 부분은 어려워서 따로 더 공부해봐야 할 것 같다.


곽민구

금일 세미나는 Machine Learning Research Group에서 그동안 공부 및 연구한 내용을 정리하여 다른 연구원들에게 소개되는 시간이었다. 크게 Generative Adversarial Networks와 Semi-supervised Learning으로 나누어서 진행이 되었다. GAN의 컨셉은 가지고 있는 데이터의 특징을 학습하여, 학습한 특징을 가진 데이터를 역으로 생성하는 모델로 생각할 수 있다. GAN은 Discriminative Model (구분자)과 Generative Model (생성자)로 나누어 진다. 생성자는 구분자가 잘 구별할 수 없도록 정교한 데이터를 생성하려는 방향으로 학습을 하며, 구분자는 역으로 생성자가 만든 데이터를 잘 구별할 수 있도록 학습한다. 이러한 과정에서 더욱 정교한, 즉 원래 데이터의 특징을 잘 반영한 데이터를 생성할 수 있는 GAN 모델이 만들어진다. 이러한 GAN 모델을 학습하는데 있어, Class와 같은 추가적인 정보를 반영하는 Conditional GAN과 latent variable을 추가시켜 학습할 수 있는 InfoGAN 또한 소개되었다. 유전자, 악보, 텍스트 데이터와 같은 일련의 연속적인 사건으로 이루어진 sequence data를 다루기 위한 GAN을 sequence-GAN (seqGAN)이라고 한다. 다른 모델과 비교해서 seqGAN의 가장 큰 차이점은 강화학습의 개념을 사용했다는 것이다. 생성자에서 하나하나의 state를 생성하고 action을 취하게 되는데, MC search로 각각의 path 찾고 Discriminator가 각자를 평가하여 reward를 부여한다. 이후 Policy Gradient를 사용하여 모델을 업데이트하는 과정으로 이루어져 있다. 발표를 통해서 GAN의 컨셉을 다시 한번 이해할 수 있었으며, vanilla GAN에서 추가적으로 발전할 수 있는 부분과 다른 문제상황에서 사용할 수 있는 variants에 대한 설명을 들을 수 있었다. Semi-supervised는 현재 가지고 있는 데이터는 많지만, 각 데이터에 붙어있는 label의 수가 적을 때 사용하는 분야이다. 주변에 있는 데이터는 같은 label을 가지고 있을 것이라는 smoothness assumption 내에서 이를 해결하기 위한 kernel-based method를 중심으로 세미나가 진행되었다. 금일 설명된 manifold regularization method의 형태는 이전에 설명되었는 harmonious function과 유사한 형태를 띄고 있다. 하지만 kernel method를 사용함으로써 새로운 데이터가 들어왔을 때 label을 예측할 수 있다는 점에서 장점을 가지고 있다. Kernel에 대한 연구를 semi-supervised learning에 적용시켜 좋은 결과가 나올 수 있을 것이라는 생각이 들었다. 마지막은 Semi-supervised regression에 관해 진행이 되었다. 이 세션에서도 kernel을 활용한 방법론들의 장점 및 효과를 확인 할 수 있었다. 단순히 k-nearest neighbor 알고리즘을 사용한 것보다 local pattern을 더 효과적으로 반영할 수 있음을 확인할 수 있었다. 기존의 kernel regression 혹은 SVR의 수식을 SSL에 알맞게 번형시켜 학습할 수 있는 formulation 또한 소개하였다. 마지막으로 advanced topic에서 여러가지 문제상황에 사용된 SSL 방법론에 대한 논문을 소개해주었다. 각각의 문제점들을 파악해서 더 발전시킬 여지가 있다고 생각한다.


강현구

오늘 진행된 전체 세미나는 Machine Learning Research 그룹에 속한 연구원들의 주도 하에 진행되었다. 세미나의 주제는 크게 Generative Adversarial Networks (GANs)와 Semi-supervised learning (SSL)로 나누어져서 진행되었다. 각 발표에 대한 후기는 다음과 같다. 1) 이한규 연구원이 GAN에 대한 기본 개념 설명 및 여러 변형된 형태를 설명해주었다. 최근 머신러닝 및 딥러닝 분야에서 향후 분야 내에서 몇 년은 거뜬하게 책임 질 연구주제로 각광을 받고 있는 GAN은 두 개의 인공신경망을 동시에 학습하여 데이터를 생성하는 모델이다. 이 때 하나의 신경망은 학습 데이터와 유사한 패턴을 갖는 데이터를 생성하는 생성자 (Generator) 역할을 하며, 다른 하나의 신경망은 실제 학습 데이터와 생성자가 생성한 데이터를 구분해내는 구분자 (Discriminator) 역할을 수행한다. 보통 이해를 돕기 위해 생성자는 위조 지폐를 만드는 사기꾼에 비유하며, 구분자는 실제 지폐와 위조 지폐를 구분해내는 감별사에 비유를 한다. 지난 몇 년간 지속되고 있는 딥러닝 분야의 연구 흐름에서 GAN의 학습 아이디어를 바라보았을 때, 이제는 하나의 신경망 모델이 아닌 두 개 이상의 신경망 모델을 동시에 사용하는 연구가 유행을 할 것으로 보인다. 우리 연구실에서는 GAN을 이용하여 적은 양의 학습 데이터로부터 그와 유사한 데이터를 생성해내어, 데이터 부족 문제와 불균형 문제를 해결하는 것이 하나의 연구 목표이다. 딥러닝 모델의 특성 상 학습 데이터가 적을 경우 학습이 어렵다는 단점이 있고, 아직 GAN을 이용한 응용 연구가 나오기엔 GAN의 학습이 불안정하다는 의견들이 많지만, 충분히 의미있는 연구이며 도전해볼만한 가치가 있다고 판단된다. 더불어 발표자는 최근 쏟아져나오는 GAN의 다양한 형태에 대한 간략한 소개도 해주었는데, 다음 소그룹 내 세미나에서 이 구조들에 대해서도 자세히 다루어진다면 비록 다른 그룹이지만 꼭 참석하여 청취하고자 한다. 2) 손지은 연구원은 기본적인 GAN에서 나아가 순차적 정보가 중요한 데이터(음악, 텍스트 등)를 생성하기 위한 sequential GAN (seqGAN)을 소개해주었다. 해당 논문에서는 순서가 있는 데이터를 다루기 때문에 기본적으로 LSTM 구조를 사용하였으며, 독특한 점은 학습 시 Monte Carlo Tree Search(MCTS)와 강화학습 기법인 Policy Gradient를 사용했다는 점이다. SeqGAN은 feedforward NN 구조보다 유연한 RNN 구조의 장점을 살려, 현재 시점을 예측하기 위해 MCTS를 이용하여 미래 시점을 미리 탐색하고 그 중 최대의 action-value 값을 갖는 현재 시점 값을 예측값으로 사용한다. 항상 느끼지만 이 분야의 사람들은 굉장히 직관적이고 단순한 아이디어에서 시작하여 빠른 속도로 좋은 연구를 할 수 있다는 점이 대단하다고 느끼며, 배울 점이 많다고 생각한다. 최근 여러 갈래로 흩어지고 있는 딥러닝 연구들 중에 상당히 유망한 쪽에 속하는 연구일 것이라고 생각한다. 3) 유재홍 연구원은 커널 함수를 이용한 SSL를 주제로 세미나를 진행해주었다. SSL에서는 클래스 정보가 있는 관측치가 그렇지 않은 관측치보다 많은 경우에 사용되는 학습 방식을 의미하는데, 해당 분야를 깊게 공부해보지 않은 나로서는 그동안 명쾌하지 않았던 부분들이 부분적으로 정리가 되고 이 분야의 큰 그림을 이해할 수 있는 기회였다. 다만 짧은 시간 내에 많은 양의 수식이 포함되어있다보니 자세한 내용을 잘 이해가 되지 않았다. 4) 최우식 연구원은 SSL regression을 세미나의 주제로 다루었다. 크게 커널을 이용하는 방법과 KNN을 이용하는 방법이 있으며, SSL classification에서 유효했던 가정들이 어떻게 SSL regression에서도 만족되는지가 흥미로웠다. 마찬가지로 잘 알지 못하는 분야이다보니 많은 양의 수식을 이해하는 것은 조금 어려웠으며, 추후에 개별 세미나 시간에 참석하여 모르는 내용을 보충하는 기회를 가져야겠다. 연구실 내 세미나가 그룹 형식으로 변경된 후 첫 세미나였는데, 이젠 각 연구들이 서로 상이하기 때문에 평소에도 서로의 연구에 기본 이상의 관심을 기울이는 것을 소홀히 하지 말아야겠다고 생각한다.

 

박성호

금번 세미나는  GAN(generative adversarial network)과 SSL (semisupervised learning)에 대한 연구들을 다루었다. GAN은학습데이터의 특징을 뽑아 학습데이터를 재성 할 수 있는 분포를 추정하는 방법으로 요약 할 수 있다. 특히, 이한규연구원의 경우 레이블을 고려한 GAN연구하고 있었으며, 손지은 연구원의 경우 sequence 데이터를 고려한 연구들의 기본 개념을 소개하였다. SSL연구팀의 경우,  kernel을 기반으로 한 연구들에 대한 소개를 하였다. 유재홍연구원의 경우 manifold regularization을 활용하는 연구들을 소개하였으며, 최우식의 연구원의 경우 기존의 지도학습 연구들이 SSL연구로 어떻게 확장되 있는지 소개하는 자리를 만들었다. 연구원들이 어떤한 연구를 하고 있으면 한 눈에 확인 할 수 있는 좋은 자리였다.

 

채선율

월요일에 진행되었던 전체 세미나는 네 가지 주제에 대한 발표를 들을 수 있었다. 연구실 선배들이 현재 어떤 연구를 하고 있는지 그 연구가 어떤 이론에서 출발한 연구인지 알 수 있어 유익한 시간이었다. 또한 비슷한 주제끼리 묶어 넓은 주제에서 좁은 주제로 가도록 발표 순서가 구성되어 전체 발표를 들을 때 연결되는 느낌이 있었다는 점과, 앞서 들었던 내용이 뒤에 나오는 경우 스킵하거나 부가 설명을 하거나하여 유동성 있게 발표가 진행되었던 점이 좋았다. Generative Adversarial Networks 발표에서 발표자가 개와 고양이를 분류하는 것을 예시로 들어 설명을 하였기 때문에 Generative model의 개념을 이해하기가 수월했다. Additional GAN 중에서는 InfoGAN에 대한 내용이 흥미로웠다. Squential GAN 발표에서는 GAN이 discrete data를 생성하는 데에 바로 쓰이기에는 적합하지 않다라는 한계점에 주목하여 Sequential GAN을 소개하였다. 음계를 예시로 들어 설명한 것이 인상깊었다. 또한 기존 논문에 나와있는 Sequential GAN을 적용한 사례와 함께 그에 대한 발표자의 의견을 들을 수 있어서 좋았다. Semi-Supervised Regression 발표에서는 기존에 있는 supervised regression에 대한 대략적인 설명과 해당 방법을 이용하여 발전시킨 semi-supervised regression에 대한 설명을 들었다. 특히 발표자가 KNN regression과 Kernel regression을 비교하여 설명해주었기 때문에 각각의 개념을 정확하게 알 수 있었다. Kernel-based SSL 발표에서는 semi-supervised learning의 목적과 가정에는 어떤 것들이 있는지 소개하고 각각의 하위 단계에는 무엇이 있는지 분류하여 설명하였다. Smoothness assumption을 그래프 두 개를 그려 비교하여 설명한 것이 명쾌하였다.​ 

 

이상민

금일 세미나는 4명의 연구원이 각자 관심을 갖고 있는 주제에 관해서 발표하는 형식으로 이루어졌다. 개인적으로는 크게 두가지 주제를 주의 깊게 들었는데, GAN과 kenel-based semisupervised learning 중 smootheness assumptio n 두가지이다. Kernel 기반의 semisupervised learning session에서는 smootheness assumption에 따른 manifold regularization의 설명을 주의깊게 들었다. 이는 x 값의 변화량 대비 f(x) 변화량에 대한 비율을 최소화시키는 방식으로 unlabeled data를 활용함으로써 정규화하는 효과를 낸다. 즉, label이 존재하는 각 값에 대한 bias를 유지토록 semisupervised learning을 수행시키는 장점이 있다. 이와 같이 많은 연구원들의 자신의 분야에서 열심히 수행하고 있는 모습을 보며 뿌듯하였고 우리 친구들 못지 않게 열심히 연구성과를 내야겠다. Kernel 기반의 semisupervised learning session에서는 smootheness assumption에 따른 manifold regularization의 설명을 주의깊게 들었다. 이는 x 값의 변화량 대비 f(x) 변화량에 대한 비율을 최소화시키는 방식으로 unlabeled data를 활용함으로써 정규화하는 효과를 낸다. 즉, label이 존재하는 각 값에 대한 bias를 유지토록 semisupervised learning을 수행시키는 장점이 있다. 이와 같이 많은 연구원들의 자신의 분야에서 열심히 수행하고 있는 모습을 보며 뿌듯하였고 우리 친구들 못지 않게 열심히 연구성과를 내야겠다.​




이전글
다음글

(136-713) 서울시 성북구 안암로145 고려대학교 자연계캠퍼스 신공학관 211호 | TEL.02-3290-3769
고려대학교 산업경영공학과 데이터마이닝 및 품질애널리틱스 연구실. All Right Reserved. 개인정보처리방침