::고려대학교 DMQA 연구실::

Lab. Activity

 

 

 

Lab. Activity>Conference Review  

2017 대한산업공학회_춘계학술대회 - 도형록

작성자 도형록 작성일 2017-05-01 오후 4:27:04
내용

이번 산업공학회 춘계학술대회는 여수에서 진행되었다. 국내 연구자들이 어떤 주제로 연구를 진행하는지 확인할 수 있는 기회가 되었다. 전반적으로 스마트 팩토리 또는 4차 산업혁명과 관련된 주제들이 눈에 띄었으며, 데이터마이닝/기계학습 분야에서는 deep neural network와 관련된 연구들이 상당히 많이 발표되었다. 지난 몇 년간 꾸준히 neural network에 대한 관심이 증가하고 있는 것 같다. 아쉬웠던 점이라면 deep neural network와 관련된 연구가 많이 진행됨에도 불구하고, 단순히 deep neural network를 적용해봤다는 정도의 발표가 대부분이었다는 점이다. 새로운 아이디어를 접목한 deep neural network 연구가 활발하게 진행되어 학회에서 많은 것을 배울 수 있게 되기를 바란다. 이외에도 기억에 남는 연구가 있어 몇 개 정리하고자 한다.

 


1. 딥러닝 기법을 활용한 반도체 wafer bin maps의 혼합 불량 패턴 분류
반도체 웨이퍼에 다양한 종류의 불량 패턴이 혼재되어 있는 경우, 불량 패턴을 웨이퍼 이미지를 통해 잘 분류하고자 하는 연구였다. 이미지 데이터를 다루는데 적합할 수 있는 DNN/CNN 등을 이용하여 분류모델을 구축하였고, 괜찮은 성능을 얻었다는 연구였다. 두 가지 흥미로운 부분이 있었는데, 하나는 다양한 웨이퍼 불량 패턴 이미지를 임의로 생성하여 분류모델을 학습하였다는 것이었고, 다른 하나는 radon transformation을 사용하였다는 것이었다. 정상 웨이퍼를 포함하여 다양한 웨이퍼 불량 패턴 이미지를 같은 갯수만큼 생성하고 모델을 평가한 것은 아쉬웠지만, 불량 패턴이 명확하게 드러나는 경우라면 학습데이터는 임의로 구성하되, 검증을 실제 데이터에 하여 충분한 성능을 나타낸다면 좋은 접근 방식이 될 것 같다. 특히, 다양한 불량에 대한 충분한 샘플을 얻을 수 없는 경우에 대안으로 사용할 수 있는 방법론이라고 생각되며, generative model 등과 접목하여 사용한다면 괜찮은 연구 주제가 될 수도 있을 것이다. Radon transformation 같은 경우에는 정확히 어떤 알고리즘인지는 모르지만, radon transformation을 적용한 경우 CNN의 분류 성능이 높아졌다는 결과를 봤기 때문에, 어떤 알고리즘인지 알아두면 좋을 것 같다.

 

2. 반도체 에칭 공정에서 웨이퍼 내의 공간 위치를 고려한 가상 계측 모형
웨이퍼 내의 공간 위치를 고려했다는 제목에 흥미를 느껴 듣게 된 발표였으나, 기대와는 다른 내용이었다. 핵심 아이디어는 원형의 반도체 웨이퍼의 특성치가 가장자리와 중앙 부근에서 서로 다른 경우가 많다는 것이었다. 따라서 연구에서는 웨이퍼의 중앙과 가장자리를 나누어 가상계측 모델을 따로 학습하고 예측하였다. 기존에는 계측한 모든 부분에서의 특성치의 평균을 사용하여 하나의 가상계측 모델을 만들었다고 하며, 그에 비해서는 정확한 가상계측이 가능했다고 한다. 공간 위치를 고려한 가상계측이라고 했기 때문에 더 대단한 아이디어가 있을 줄 알았는데 아쉬웠다. 현재 진행중인 연구가 예측변수들 간 관계를 반영하여 변수선택을 잘 시행하려는 알고리즘 개발인데, 이런 상황에서는 multiple output regression에서 반응변수들 간의 관계가 있는 상황을 고려해볼 수 있을 것 같다.

 

3. Combinatorial optimization with recurrent neural networks
최근 combinatorial optimization 문제, 그 중에서 sequential decision을 통해 optimal solution을 구할 수 있는 문제를 neural network의 sequence to sequence learning으로 풀어내기 위한 연구가 진행되고 있다. 이런 접근 방식은 크게는 near optimal solution을 supervised learning 방식으로 학습하여 실제로 문제가 주어졌을 때 기존의 다른 optimization solver에 비해 상당히 빠른 시간 안에 적당히 좋은 solution을 찾을 수 있다는 장점이 있다. 비록 지금은 연구가 초기 단계에 있지만, 연구 주제로는 상당히 흥미로운 것 같으며, 연구가 잘 진행되었을 때의 파급 효과는 상당할 것으로 보인다. 발표된 연구에서는 기존 pointer network를 이용하여 TSP 문제를 푸는 연구의 단점들 중 하나를 보완한 것으로, pointer network를 cross-entropy로 학습할 경우 TSP의 tour length를 반영할 수 없다는 점에 착안하여 gradient 기반 학습 방식을 살짝 수정하였다. 수정된 학습 방식은 기존의 학습 방식에 비해 pointer network를 빠르게 수렴시키는 결과를 나타냈다. 발표자도 언급한 사항이지만, 한 가지 우려되는 점은 크기가 큰 문제를 이용하여 학습시키기 어렵다는 점이다. 기본적으로 Supervised learning을 채택하고 있기 때문인데, 항상 문제에 해당하는 답을 알고있어야 하는 것이다. Training data로 활용하고자 하는 문제가 작다면 큰 문제가 되지 않겠지만, 크기가 큰 문제로 training data를 구성하고자 하는 경우, 오랜 시간을 들여 다른 알고리즘을 실행하고, 답을 얻어야 한다. 최근 이런 단점을 극복하기 위해 reinforcement learning 등의 접근 방식을 시도하고 있는 것으로 알고 있다.

 

 

발표 후기
이번 산업공학회는 특별 세션 [Interface between machine learning and optimization]을 통해 그간 연구한 내용을 발표하였다. 취지는 연구실에서 몇 명이 활발하게 연구중인 machine learning 알고리즘과 optimization framework를 접목하는 연구를 한 자리에 모여서 소개하는 것이었다. 특별 세션인데다 학술대회에서는 처음 발표하는 연구였기 때문에 준비하는 과정에서 상당히 많은 부담이 있었다. 생각보다 많은 사람들이 이 주제에 관심을 가져서 놀라웠고, 현재 진행하는 연구에 더 자신감을 갖고 많은 노력을 기울여야겠다는 생각이 들었다.


발표 주제는 Graph-constrained best subset selection으로, linear regression에서 변수 선택을 시행하는데 있어, 그래프로 나타나는 변수 간 관계 활용하는 방법론이었다. 제안하는 방법론은 linear regression에서 변수 간 그래프 구조를 반영하여 variable subset selection을 시행할 수 있는 mixed-integer programming formulation이었다. 특히, 기존 연구들은 이러한 상황에서 undirected graph만을 반영할 수 있었던 반면, 제안하는 formulation은 directed graph 역시 반영할 수 있도록 자연스럽게 확장이 가능하다. 또한, undirected graph case에서 기존 방법론들은 continuous optimization으로 formulation된 반면, 제안하는 방법론은 binary decision variable을 도입하여 formulation 하였기 때문에 variable selection 관점에서 보다 뛰어난 성능을 나타내는 것을 확인할 수 있었다. 다만 한 가지 문제점은 mixed-integer programming의 경우, 큰 사이즈의 문제를 풀기 어려워 실용성이 떨어진다는 점이다. 따라서 제안하는 formulation의 좋은 suboptimal solution을 찾을 수 있는 알고리즘을 개발하는 중에 있다. 사전에 그래프 정보가 잘 정의된 gene expression data 등에 적용하였을 때 좋은 효과를 얻을 수 있을 것으로 기대하며, data-driven 그래프와 함께 이용하는 연구를 진행해봐도 좋을 것 같다.


질문은 실험 결과와 관련된 것이었는데, 하나는 제안 방법론에 비해 하나의 비교 방법론이 false positive는 높은데 비해 예측 성능은 크게 차이가 나지 않는다는 데에 의문이 든다는 것이었다. 질문에 대한 답으로는 실제로 선택된 변수들이라고 하더라도 회귀계수 자체의 값이 작으면 예측 값에 큰 영향을 주지 않기 때문에 비슷한 예측 성능이 나타나는 것도 가능하다는 것이었다. 다른 하나의 질문은 실험 결과의 평가 measure에 대한 내용이었으며, 시뮬레이션을 통해 만들어내는 데이터이기 때문에 실제 회귀계수 값을 알고 있으니, 추정 회귀계수와 실제 값을 비교해 보는 것도 좋을 것 같다는 내용이었다. 추후 실험 결과를 정리하는 데 반영할 예정이다.




이전글
다음글

(136-713) 서울시 성북구 안암로145 고려대학교 자연계캠퍼스 신공학관 211호 | TEL.02-3290-3769
고려대학교 산업경영공학과 데이터마이닝 및 품질애널리틱스 연구실. All Right Reserved. 개인정보처리방침