::고려대학교 DMQA 연구실::

Lab. Activity

 

 

 

Lab. Activity>Conference Review  

2017 KDD conference - 강현구

작성자 강현구 작성일 2017-08-23 오후 4:13:29
내용

2017년 KDD conference는 캐나다 동부 노바스코샤에 위치한 할리팩스 시에서 열렸다. 청명한 하늘과 맑은 공기가 만드는 여유로움 덕분에 체류하는 동안 잠시나마 일상에서 한 발 벗어나 신선한 생각을 할 수 있는 좋은 기회를 얻었다. 사흘 남짓한 시간동안 보고 들은 것들을 잘 정리하여 값진 경험으로 남기고자 한다.

 

아무래도 KDD는 기계학습보단 데이터마이닝에 더욱 초점을 두고 있는 학회이다보니, 딥 러닝 관련 연구들은 NIPS, ICML, ICLR, CVPR 등으로 선회한 것 같다. 그 대신 평소에 접하지 못했던 ​그래프 혹은 네트워크 구조를 다루는 연구들이 많이 발표되었다. 그 중에서 나는 Representations 세션에서 소개된 다음의 두 발표가 인상 깊었다. Representation learning이 확실히 대세임을 증명하듯 다양한 성질을 갖는 네트워크를 보다 낮은 차원으로 사영시키는 연구들이다.

 

metapath2vec: Scalable Representation Learning for Heterogeneous Networks​

제목이 매우 직관적이다. 네트워크가 heterogeneous한 성질을 가질 때, Mikolov et al.이 2014년에 제안한 word2vec 기법을 활용하였음을 짐작할 수 있다. Word2vec 모델은 텍스트마이닝 분야에서 단어 간 유사성을 반영한 word representation을 얻고자 하는데, 이 때 한 단어와 그 단어를 둘러싸고 있는 주변 단어, 즉 context를 어떻게 구성하느냐가 핵심이다. 네트워크 관점에서 단어는 노드(node)에 대입될 수 있으며, 두 단어가 몇 개의 edge를 사이에 두고 떨어져있는지에 따라 context로 규정할 수 있다. 이 연구에서는 텍스트 도메인처럼 한 언어 내에서 homogeneous한 경우가 아닌, 노드들이 서로 다른 성질을 갖는 heterogeneous한 경우를 다루고 있다. Homogeneous한 네트워크에서 이웃을 규정할 때는 보통 random walk 방식을 사용하는데, heterogenoeus한 경우에는 random walk 방식이 효과적이지 못하기 때문에 이 연구에서는 metapath로 이웃을 규정한다. 그 이후는 negative sampling을 활용한 skip-gram 모델과 크게 다르지 않다. 

 

struc2vec: Learning Node Representations from Structural Identity

네트워크 구조에서는 유사한 노드들은 서로 인접하게 표현한다. 하지만 서로 멀리 떨어져있는 노드의 경우에도 구조적으로 유사할 수 있다. 가령 주변 노드들을 고려했을 때 그 context가 유사하다면 두 노드는 비슷하다고 볼 수 있다. 이를 structural identity라고 명명하는데, 이 연구에서는 네트워크의 좋은 representation을 구할 때 structural identity를 보존하고자 한다. 방법은 앞서 언급한 연구와 유사하게 skip-gram model을 사용한다.

 

위 두 연구와 더불어 많은 네트워크 관련 연구들이 소개되었으며, 네트워크가 갖는 성질에 특화된 알고리즘들이 많이 제안되는 것을 확인할 수 있었다. 본인도 도메인은 다르지만 네트워크 representation을 연구하는 입장에서 다양한 시각에서 문제를 바라볼 수 있는 기회였다. 개인 연구의 가능성 및 유효성에 대한 확신이 부족하여 망설여지던 시기에 마음을 다잡고 연구에 다시 매진할 수 있을 것 같다. 

 ​

 




이전글
다음글

(136-713) 서울시 성북구 안암로145 고려대학교 자연계캠퍼스 신공학관 211호 | TEL.02-3290-3769
고려대학교 산업경영공학과 데이터마이닝 및 품질애널리틱스 연구실. All Right Reserved. 개인정보처리방침