::고려대학교 DMQA 연구실::

Lab. Activity

 

 

 

Lab. Activity>Seminar  

Variational Autoenceoder (발표자: 이슬기)

작성자 관리자 작성일 2016-12-11 오전 2:44:22
내용

발표자 Summary

 

이슬기
이번 세미나에서 다룬 주제는 variational autoencoder 모델로, generative 모델이다. 소개한 연구는 representative learning에서 매우 주목 받고 있는 알고리즘이며, 이 알고리즘을 기반으로 많은 연구들도 진행되었다. 기본적으로 variational autoencoder는 variational inference를 이용하여 복잡한 고차원 데이터를 특정한 분포로 피팅시키며, 이 분포에서 샘플링을 통해 새로운 고차원 데이터를 재현한다. 이 과정에서 Bayesian 추론을 이해하고 있어야 하고, 그 외 여러 통계적, 수학적 기법들이 많이 이용되지만 모델을 이해하기 위해서는 특히 variational inference가 autoencoder구조에서 어떤 역할을 어떻게 하는지를 파악하는 것이 중요하다. 따라서 설명은 Bayesian 추론이 machine learning에 적용되었을 때 어떤 역할을 하는지에 대한 철학적 접근과 variational inference를 설명하는데 집중하였다. 오늘 소개한 variational autoencoder는 아직 더 공부해야 할 부분은 많지만, unsupervised learning으로써 많은 연구들에 응용될 수 있을 것이라 생각하며 연구원들의 개인 연구에도 도움이 되길 바란다.

 

청취자 Summary

 

유재홍
금일 세미나는 Variational Autoenceoder를 주제로 진행되었다. Variational Autoencoder란 베이지안 추론을 기반으로 하는 Variational inference와 Autoencoder를 바탕으로 복잡한 데이터들의 분포를 추정하는 방법론이다. 이 기법은 데이터의 분포를 설명하는 모수를 Autoencoder의 마지막 층으로 설정하고 학습을 수행하게 된다. 이 기법을 활용하게 되면  적은 수의 데이터 만으로도 효과적인 데이터 분포의 학습과 샘플링이 가능할 것이라고 생각된다. 이번 주와 저번 주의 세미나를 통해 신경망 알고리즘에 기반한 Generative Model에 대해 많이 배울 수 있었고, 이를 좀 더 깊이있게 공부하여 Semi-supervised Learning에도 활용해 볼 계획이다.

 

이상민
베이지안 이론은 패턴인식 또는 기계학습에서 통계적 접근방법을 취한다. 기존 autoencoder는 주어진 데이터를 학습 변수 X, 예측 변수 Y로 두고 자기 복제가능한 encoding, decoding 모델을 학습한다. Variational Autoencoder는 베이지안 추론(Bayesian inference) 방식으로 학습을 진행한다는 점에서 기존의 autoencoder와 차이가 있다. encoding layers와 decoding layers의 마지막 층은 추정 분포의 모수(mu, delta 등)에 해당한다. 내부 메커니즘에 대해서는 좀 더 학습해봐야겠다. 이와 같은 기법은 데이터 모수가 적고 사전에 알려진 분포 모델이 있는 상황이라면 용이할 것 같다. 예를 들어,  데이터 불균형 문제(imbalance problem)가 심한 데이터의 clustering 연구를 통해 이상탐지 기법 연구를 수행하거나, 확률변수의 난수를 활용하는 몬테카를로 시뮬레이션 등에서 보다 정교한 샘플 생성을 위한 generative model 구축 등에 응용 가능할 것 같다.

 

김영훈
오늘은 Variational Autoencoder 에 대해서 배울 수 있는 시간이었다. 이 Variational Autoencoder는 기존의 Autoencoder를 Bayesian Machine Learning의 관점으로 재해석하여, 상대적으로 적은 양의 데이터를 가지고서도 이미지를 Encoding 하고 Decoding 하는 방법을 잘 학습할 수 있는 최신 기법이다. Variational 이라고 하는 이름은 Variational Inference 방법으로 Posterior Distribution 을 추정할 수 있다고 해서 붙여진 이름이다. Variational Inference 는 구하기 어려운 형태의 분포를 상대적으로 구하기 쉬운 분포를 이용해서 데이터를 샘플링하고 추정하는 방법이다. 분포 추정 방법들 중에서 Rejection Sampling 방법이 이와 유사한 개념이지 않나 생각이 되었다. 결과적으로 이 방법을 적용해서 Posterior Distribution 을 구해낼 경우 다양한 이미지를 생성하고 축약할 수 있는 Unsupervised Deep Learning 모델을 얻을 수 있다. 저번주에 이어서 이번주에도 Generative 모델에 대해서 세미나를 들을 수 있었는데 참 흥미로운 주제인 것 같고, 지속적으로 관심을 갖고 공부해보면 좋을 것 같다.

 

박성호
금일 세미나는 Variational inference를 기반으로 한 Variational autoencoder 방법론에 대한 소개였다. 전통적인 Autoencoder는 Unsupervised deterministic 모델인 반면, Variational autoencoder는 Unsupervised generative 모델로 간주된다. 사실 기존 Unsupervised generative 모델 중 대표적인 기법으로는 Boltzmann 분포를 활용한 Restricted Boltzmann Machines(RBM) 등이 있지만, 이들 방법론은 Markov chain Monte Carlo (MCMC)를 기반으로 하고 이는 학습과정에서의 불확실성을 야기시킨다. 이러한 문제에 착안해서 Variational autoencoder은 Bayesian inference를 근간으로 한 Variational inference 기법을 활용해서 MCMC 기법이 갖는 한계점을 보완하였다. 본 세미나에서 Variational autoencoder를 이해하는데 많은 시간을 할애 하기도 했지만, 향후 어떠한 문제에 적용될 수 있는지에 대해서도 다각도의 이야기가 진행되었다. 많은 관심이 있었던 만큼 발표자의 다음 연구 세미나가 기대가 된다.

 

강성현
금일 소개된 variational autoencoder는 기존 autoencoder에 Bayesian 기법을 가미한 방법이다. 파라미터의 정규분포의 가정을 기반하였기 때문에 손실함수를 일반적으로 사용하는 rmse를 대신 variational lower bound 함수를 사용하고 이를 계산하기 위한 방법으로 Monte Carlo gradient estimator 등을 사용하는 측징이 있다. variational autoencoder는 encoder에 해당하는 부분에서 데이터의 정규분포의 파라미터(평균, 분산)을 추정할 수 있기 때문에 비지도 학습 방법으로 응용할 수 있으며, 적은 샘플을 증폭하는 경우에도 사용할 수 있다. 따라서 여러가지 응용 연구를 생각할 수 있는데 개인적으로는 불균형 상황을 해소할 수 있는 방법으로 응용해보는 것도 좋으리라 생각된다. 일반적으로 불균형 문제에서는 정상범주의 수를 줄이는 under sampling을 주로 사용하고 성능도 우수한 것으로 알려져 있다. 그러나 샘플 수가 적을 때에는 기존 정보를 버리는 이러한 방법이 오히려 악영향을 줄 수 있으므로 이상치를 variational autoencoder를 통해 증폭하는 방식이 유리할 것으로 생각된다. 차후 연구 주제로 고려해보는 것도 좋으리라 생각한다.

 

곽민구
금일 세미나는 Variational Autoencoder에 관하여 진행되었다. Autoencoder는 데이터를 인공신경망 구조를 갖는 모델에 넣었을 때, 그 결과물로 데이터 자기 자신과 가장 유사한 데이터를 만들어내는 encoding / decoding 두 부분으로 나누어져 있는 모델을 의미한다. 이러한 Autoencoder 모델에 Bayesian Theory와 분포 가정을 추가하는 것이 Variational Autoencoder이다. 좋은 모델과 그에 알맞는 파라미터를 찾아 해를 구했다 하더라도, 데이터가 달라지면 다른 해를 얻을 것이기 때문에 '내가 지금 구한 해가 global optimum이 아닐 것이다'라는 생각에서 출발한 방식이다. 이를 해결하기 위해 Variational Autoencoder에서는 사용자가 분포를 가정한 후, 그 분포가 posterior probability에 가장 잘 맞도록 하는 파라미터를 추정하는 방식을 취한다. 즉, 분포의 파라미터를 encoding하는 것이다. 이렇게 추정된 분포에서 decoding된 데이터는 conventional autoencoder와는 다르게 기존 데이터와 많이 달라져 있을 것이라는 것을 예상할 수 있다. 비록 세미나에서 다루는 Bayesian Theorm과 관련된 내용들과 수식적인 측면에서 많이 이해를 하지 못했지만, 이러한 알고리즘이 어느 분야에서 사용될 수 있을지 생각해보고 토론할 수 있는 의미있는 시간이었다.

 

박영준
금일 세미나에서는 슬기가 variational autoencoder에 대해 다뤘다. 이전의 세미나에서 다뤘던 신경망 모델을 이용한 generative model에 관한 내용이다. Generative model은 학습 데이터의 분포를 학습하여 샘플링 하는 모델로 샘플링을 데이터를 생성한다는 것과 동일하게 이해 할 수 있다. 이를 위해서는 random number (vector)로 부터 실제 데이터를 만들어 내는 함수를 만들어 generative model을 구성할 수 있다. 여기서 random number와 실제 데이터 사이의 관계를 autoencoder를 이용하여 모델링한것이 variational autoencoder의 특징이라 할 수 있다. Variational autoencoder는 이론적 타당성을 가지고 만들어진 모델로 매력적이다. 하지만, 우리 산업공학과 입장에서 이 모델을 어떻게 사용할 수 있는지는 좀 더 고민이 필요한 부분이라고 생각한다.

 

손지은

Variational autoencoder는 Deep generative model들중의 하나로 분포를 추론하고 추론된 분포에서 샘플링하여 데이터를 뽑는다. 지난 세미나에서 박영준 연구원이 발표한 내용과 매우 유사한 컨셉이다. p(x|z)와 p(z|x)를 최대화하는 파라미터를 학습하는 과정에서, p(z|x)를 어느정도 잘 표현할 수 있는 다른 분포를 가정하는것인데 이 부분이 Generative model의 개념으로 Latent variable z를 정의하는것이 핵심이다. Inference 부분은 개인적으로 취약하다고 생각했던 부분인데 세미나를 들으면서도 더 많은 공부가 필요하다고 생각되었다. 향후 연구적으로 다양하게 발전할 수 있는 컨셉이라고 생각된다. 

 

 

 




이전글
다음글

(136-713) 서울시 성북구 안암로145 고려대학교 자연계캠퍼스 신공학관 211호 | TEL.02-3290-3769
고려대학교 산업경영공학과 데이터마이닝 및 품질애널리틱스 연구실. All Right Reserved. 개인정보처리방침