[학회 후기]처음으로 참석하는 해외학회인 만큼 긴장감과 설렘을 가지고 학회에 참석하게 되었다. 24년도 ICLR은 오스트리아 비엔나에서 5/6(화)~5/11(토)까지 열렸다. 학회는 크게 오랄과 포스터 세션으로 구분되어 있었으며 오랄 세션이 진행된 이후에 이어서 포스터 세션이 진행됐다. 오랄 발표를 진행한 연구들도 이어지는 포스터 세션에 참석하여 단순히 발표에서 끝나는 것이 아니라 해당 연구에 대해서 토론할수 있는 기회가 있는 것이 좋았다. 생각보다 많은 사람들이 포스터 세션에 참가했으며 각 포스터 세션 앞에서 활발하게 토론이 이뤄졌다. 사람들의 주목을 많이 받는 연구는 질문하기 위해서 대기 시간이 상당히 길어지기도 했다. 연구자들끼리 조금더 활발하게 토론할 수 있도록 작은 세미나실에서 소규모의 세션들도 진행되었다. 생성모델과 관련된 세션에 참석해서 디퓨전 이후의 생성모델은 어떻게 연구되어 나갈지에 대한 연구자들의 토론을 듣게 되었다. 다른 연구자들의 견해를 들으며 내 의견도 한번 생각해볼 수 있는 좋은 기회였다. 학회에서 가장 좋았던점은 다양한 연구자들과 소통할 수 있는 기회였다. 단순히 연구 이야기만을 하는 것이 아닌 연구실에서의 생활 및 진로에 대한 고민 등 다양한 이야기들을 들을 수 있는 시간이였으며 앞으로의 연구실 생활을 고민해 볼 수 있는 좋은 계기가 되었다.[발표후기]포스터 발표는 2일차 오전에 진행됐다. 1일차 포스터 발표에서 굉장히 많은 사람들이 포스터 발표를 보고 디스커션을 진행하는 것을 봤기 때문에 긴장이 많이 됐다. 생각보다 많은 사람들이 연구에 관심을 가지고 질문을 해줘서 놀랐다. 질문자가 갑자기 몰리는 경우에는 질문을 하기 위해서 사람들이 포스터 앞에서 조금 기다리기도 했다. 이후에 포스터 발표 기회가 생긴다면 2명정도의 저자가 함께 포스터 앞에서 설명해 주는것이 우리 연구에 관심을 가지고 있는 사람들과 원활하게 토론하기 좋겠다는 생각이 들었다. 학회 발표를 하면서 영어 공부에 대한 필요성을 한번더 느끼게 됐다. 영어를 정말 유창하게 할 필요는 없지만 최소한 머리속에서 떠오르는 생각들을 표현할 수 있을 정도의 영어 실력을 필요하다는 것을 느꼈다. 내 연구에 대해 질문하는 포인트들을 통해 앞으로 어떻게 연구를 이어나갈지에 대한 다양한 아이디어를 얻을 수 있었다. 현재 연구의 한계점은 무엇인지, 한계점은 어떤 이유 때문에 나타나는 것인지, 그렇다면 해당 한계점은 극복이 가능한 것인지 등 디테일한 질문들을 통해 내 연구를 한번 더 깊게 생각해 볼 수 있었다.  [청취후기]1. Improved Techniques for Training Consistency ModelsConsistency model의 성능을 올리기 위한 학습 기법들을 분석한 연구이다. Consistency model은 모든 시점에서 노이즈가 제거된 깨끗한 이미지를 예측하는 모델로 이를 학습함으로써 노이즈에서 이미지까지 1 step으로 생성할 수 있는 모델이다. Consistency model의 학습 방법은 사전학습된 디퓨전 모델로부터 학습을 시작하는 distillation 방법과 처음부터 consistency model을 단독으로 학습하는 training 방식으로 나뉜다. 해당 연구에서는 training 방식의 성능을 올리기 위한 분석들을 진행했다. 디퓨전 모델 분야에서 많은 기여를 했던 Yang Song의 연구인 만큼 이번 학회에서 꼭 들어보고 싶은 발표였다. 전반적으로 발표를 듣는 사람들이 이해하기 쉽게 설명을 해주는 것이 인상적인 발표였다.2. Wuerstchen: An Efficient Architecture for Large-Scale Text-to-Image Diffusion Models1~2명의 저자가 나와서 주로 발표를 진행하는데 4명의 저자가 나와서 기억에 남는 발표였다. 큰 사이즈의 이미지를 효과적으로 생성할 수 있는 디퓨전 모델 구조를 제안한 연구였다. 24*24 크기로 latent의 사이즈를 줄이기 위해서 여러 단계를 나눠서 진행하는 구조가 직관적이면서도 생각해보지 못했던 접근이라서 재미있었다. 오랄 세션 이후 포스터 세션도 방문하여 저자들과 간단하게 이야기를 나눴다. ICLR에 억셉 되기 전 3번의 학회에서 떨어지고 이번 ICLR에서 오랄 발표로 붙었다는 저자들의 이야기를 듣고 연구를 놓지 않고 끝까지 진행할 수 있는 끈기 또한 연구를 진행할 때 필요한 자세라는 것을 다시 한번 느낄 수 있었다.3. DragonDiffusion: Enabling Drag-style Manipulation on Diffusion Models디퓨전 모델을 활용한 이미지 에디팅 연구로 드래깅 instruction이 주어졌을 때 에디팅을 진행하는 방법론이다. 이미지 내에서 의미적으로 비슷한 부분을 찾는 visual correspondence를 이미지 에디팅에 적용한 것이 인상적이었다. Visual correspondence는 주로 이미지에서 의미론적인 부분을 찾아주는 것으로만 생각했었는데 저자들의 경험에 따르면 이미지의 전반적인 구조 및 스타일도 잘 유지할 수 있다는 인사이트를 공유받았다. 해당 연구의 후속 연구도 CVPR에 억셉이 되었다고 하여 저자들의 연구들을 계속 따라가 보면 진행중인 연구에 많은 도움을 얻을 수 있을것으로 생각된다. 4. Direct Inversion: Boosting Diffusion-based Editing with 3 Lines of Code디퓨전 모델을 활용한 이미지 에디팅 연구이다. 이번에 발표했던 Noise Map Guidance와 연구 배경이 동일해서 눈길이 갔다. 디퓨전 모델을 활용한 이미지 에디팅에서 이미지의 reconstruction이 중요하며 정확한 reconstruction을 위해서 해당 연구에서는 inversion path와 reconstruction path의 차이를 사전에 계산한 후 실제 reconstruction이 진행될 때 차이를 더해주어 reconstruction이 완벽하게 수행될 수 있도록 했다. 진행했던 연구와 굉장히 유사한 점이 많아서 저자들과 다양한 디스커션을 진행해 보고 싶어 포스터 세션동안 몇번 방문했지만 저자들을 만날 수 없어서 아쉬웠다.5. Neural Network-Based Score Estimation in Diffusion Models: Optimization and Generalization디퓨전 모델의 학습 목표는 score matching을 통해 score function을 학습하는 것을 목표로 하며, 많은 연구들을 통해 score를 추정하는 것이 가능하다는 것이 증명되어 왔다. 하지만 해당 연구에서는 일반적으로 모델을 학습할 떄 많이 사용되는 gradient descent를 통해 학습된 디퓨전 모델이 정말 socre를 잘 추정하는 것인지에 대한 의문으로 부터 출발한다. Score matching을 regression 문제로 해석하고 보다 나은 score function을 학습하기 위한 다양한 방법들을 제시한다. 수학적으로 어려운 개념들이 많이 등장하여 잠깐의 설명으로 내용을 모두 다 이해하기는 어려웠지만, 모두가 당연하게 생각하던 사실에 한번 더 의문을 품고 연구를 진행했다는 저자의 모티베이션이 굉장히 인상적이었다.

오스트리아 비엔나에서 개최된 2024 International Conference on Learning Representations (ICLR) 에 교수님, 조한샘 연구원과 참석하였다. ICLR 은 국제적인 인공지능 학회로, 학회에 합격한 논문은 크게 Oral Session (구두 발표) 와 Poster Session (포스터 발표) 를 통해 학회 기간동안 참석자들에게 공유되었다. 작년엔 논문의 평균 합격 점수를 통해 Oral, Spotlight, Poster 로 구분이 되어 이 중 Oral 과 Spotlight 논문들이 구두발표를 진행했지만, 올해는 굉장히 많은 논문들이 Accept 되었기 때문에 Oral 로 합격한 논문에 대해서만 구두 발표가 진행 되었다. 이외에도 학회장 중간엔 Meta, Google Research, Google DeepMind, Microsoft, Mistral 등의 기업부스가 들어와 있었으며, 자유롭게 구경할 수 있는 구조였다. 또한, 메인 세션 이외에도 점심시간에 특정 주제로 토론을 할 수 있는 Social Event 도 마련되어 있었다. 굉장히 많은 발표들과 포스터를 접할 수 있었지만, 이 중 유독 기억에 남는 것들을 정리해보고자 한다.Oral SessionsImproved Techniques for Training Consistency Models디퓨전 모델 쪽 대가인 Yang Song 이 직접 발표를 진행하였다. 현재 Consistency Models 관련 연구를 진행하고 있기 때문에, Yang Song 이 직접 진행하는 Consistency Models 에 대한 설명을 들을 수 있는 기회는 굉장히 값졌다. 해당 논문은 기존 Consistency Models 를 고도화 시키는 방법론을 담고 있으며, 수식적으로 굉장히 무거워서 15분동안 어떤 식으로 연구를 소개할지 궁금한 채로 세션에 들어갔다. Yang Song 은 군더더기 없이 15분 안에 깔끔하게 필요한 요지를 설명하였고, Consistency Models 를 처음 접해도 디퓨전에 대한 사전 지식만 있으면 이해가 갈 정도로 간단명료하게 발표를 마쳤다. 다른 구두 발표에선 저자들이 현재 진행하는 follow up work 에 대한 이야기를 잠깐 하지만, Yang Song 은 현재 무슨 연구를 진행하고 있는지 언급을 하지 않아 해당 부분이 조금 아쉬웠다. 하지만 Yang Song 의 설명을 직접 들을 수 있는 기회는 흔치 않아, 굉장히 만족스러운 세션이였다.Learning Interactive Real-World Simulators비디오 생성모델로 World Simulator 를 구현하는 연구로, 디퓨전 기반 모델인 점이 굉장히 흥미로웠다. World Simulator 란 생성모델로 실제 세상의 상호작용을 학습시킨 뒤, 이를 영상을 통해 물리적으로 특정 물건이 움직이는 형상을 구현하는 새로운 패러다임이다. 예시로 컵을 들고 있는 로봇 팔에 대한 이미지가 시작 이미지로 주어졌을 때, "컵을 싱크대에 넣어" 라고 prompt 를 주면 World Simulator 가 시작 이미지를 기반으로 로봇 팔이 컵을 싱크대에 넣는 영상을 생성하는 식이다. 생성모델로 World Simulator 을 구현하는 아이디어는 굉장히 오래되었지만, 디퓨전 모델의 발전을 통해 최근들어 실제로 구현이 되기 시작했다. 해당 발표를 보며 디퓨전의 분포 학습을 통해 상상 이상의 것들이 가능하다는 것을 느낄 수 있었다."What Data Benefits My Classifier?" Enhancing Model Performance and Interpretability through Influence-Based Data Selection고전적인 분류 문제에 대해, 분류 모델의 성능을 올리고 싶으면 어떤 데이터를 학습 시켜야 하는지 고찰하는 연구다. 세션이 처음 시작했을 때 큰 기대를 하진 않았지만, 개인적으로 가장 만족스러웠던 구두 발표였다. 분류 모델은 딥러닝에서 어느정도 완숙한 연구 분야고, 이미 산업의 여러 곳에서 사용이 되고 있다. 분류기에 대한 현재까지의 연구는 성능을 올리거나, 아키텍쳐를 고도화 하거나, 속도를 올리는 쪽으로 초점이 맞춰졌었다. 저자들은 이에 반문을 던지며, 분류기가 실제 산업에서 사용되려면 보다 조심스럽게 접근을 해야 한다고 주장을 하며, Fairness, Utility, Robustness 관점에 대한 모델의 성능을 정량적으로 평가 할 수 있는 framework 를 제시한다. 이에 influence function 으로 각 관점을 수식화 한 뒤, 분류기를 학습 할 때 어떤 데이터를 사용해야 각 관점에 대한 성능을 올릴 수 있는지 또한 제시한다. 처음 접한 분야였지만, 발표자가 굉장히 직관적으로 설명해 주어 흥미롭게 들을 수 있었다. 시각적으로 멋진 생성모델이 주류가 된 학회에서, 고전적이지만 근원적인 질문을 던지고 명확하게 해결책을 제시한 발표인 점에서 굉장히 흥미롭게 청취 할 수 있었다.Wuerstchen: An Efficient Architecture for Large-Scale Text-to-Image Diffusion Models기존의 디퓨전 모델의 아키텍쳐를 고도화 하는 연구다. Consistency Models 와는 정반대로 완전히 테크니컬한 연구이며, 디퓨전 모델의 아키텍쳐의 현주소를 지적하며 확장성을 위해 새로운 아키텍쳐를 제시한다. Stability AI 와 합작하여 Stable Cascade 라는 파운데이션 모델의 아키텍쳐를 제시하였기에 흥미롭게 들을 수 있었다. 특히 본 구두발표는 다른 발표들과 달리 굉장히 유쾌하게 중간중간 농담을 섞어가며 진행되었고, 이로 인해 다른 구두 발표보다 가볍게 들을 수 있었다. 발표를 들으며 훨씬 큰 이미지를 생성하도록 아키텍쳐를 더욱 확장 할 수 있는지에 대한 궁금증이 생겨, 발표가 끝난 후 발표자를 찾아가서 이에 대한 질문을 했다. 발표자는 굉장히 흥미로운 주제이며, 실제로 다음 연구를 해당 방향성으로 진행하고 있다고 이야기 해 주었다.이외에도 다른 구두발표도 흥미롭게 들을 수 있었다. 다만 아쉬운 점은, 동시간대에 여러개의 구두발표를 진행했기 때문에 꼭 듣고싶었던 발표를 듣지 못했다. 듣고 싶었지만 다른 구두발표와 겹쳐 듣지 못한 연구 중 Vision Transformers Need Registers 는 학회가 끝난 뒤 outstanding paper award 를 받았기에 더욱 아쉬웠다.Poster Sessions포스터 세션은 발 디딜 틈 없이 사람이 많았다. 각 포스터 세션은 2시간이여서 모든 포스터를 볼 수 없었기에, 미리 각 세션에 관심이 있는 포스터를 저장해둔 뒤 방문하는 식으로 세션 참여를 하였다. 디퓨전 모델 관련 포스터가 굉장히 많았으며, 흥미로운 설명들 또한 많이 들을 수 있었다.Elucidating the Exposure Bias in Diffusion Models디퓨전 모델은 일반적인 모델과 달리 학습과 인퍼런스를 진행하는 방식이 다르다. 이에 본 논문은 학습과 인퍼런스간 간극을 지적하며, 이론적으로 해당 간극을 좁히는데 새로운 스케일링 방법론을 제시한다. 굉장히 간단하지만 효과가 좋아 흥미롭게 청취했다.Leveraging Optimization for Adaptive Attacks on Image Watermarks디퓨전 모델로 이미지를 생성할 때, 생성된 이미지라는 표식을 남기는 것을 watermarking 이라 한다. 일반적인 워터마크는 아니고, 사람이 구분할 수 없을 정도로 미세하게 픽셀값을 조절하여 해당 이미지가 생성된 이미지라는 일종의 숨은 메세지를 남기는 방식이다. 본 논문은 어떤 모델로 이미지가 생성 되었는지 상관 없이, 이미지 속 숨겨진 메세지를 추출하여 삭제하는 방법론을 제시한다. 굉장히 흥미롭게 들었지만, 생성된 이미지 속 워터마크를 지우는 것이 윤리적으로 옳은지 저자에게 질문을 했다. 저자는 맞다고, 이 연구는 일종의 창과 방패의 싸움을 부추키고, 이를 통해서 더 강건한 워터마킹 방법론을 기대한다고 설명해 주었다.Intriguing Properties of Data Attribution on Diffusion ModelsData attribution 이란 모델이 특정 개념을 배우기 위해서 학습 도중 어느 데이터 샘플을 가장 많이 활용했는지를 확인하는 개념이다. 본 논문에선 이를 생성모델의 도메인으로 가져오며, 특정 개념을 생성 할 때 어떤 데이터 샘플이 가장 많이 활용됐는지 확인할 수 있는 방법론을 제시한다. 예시로, "an image of a gothic church" 라는 prompt 로 이미지를 생성했을 때, 데이터셋 중 어떤 이미지가 해당 이미지의 개념에 가장 큰 영향을 미쳤는지 확인 할 수 있는 방식이다. 저자들은 제시한 방식을 통해 수억장의 데이터 샘플 중 저작권이 걸려 있는 이미지를 추출 할 수 있다는 사실을 보여주었다. Data attribution 은 분류기에서 많이 연구가 된 주제이지만, 생성모델로 방법론을 제시한 것이 흥미로웠다.My poster session나는 이번에 포스터 발표를 진행했다. 2시간 동안 포스터 앞에서 논문에 대해 설명을 하고 이런저런 질문에 대해 답변하는건 체력적으로 힘들었지만, 흥미로운 질문들을 많이 받아 되려 나의 논문에 대해 되짚어 볼 수 있었다. 그 중 유독 기억에 남는 사람이 있다. 자신을 암스테르담에서 생성모델을 연구하는 박사과정이라고 소개하였고, 나의 논문의 세세한 방법론에 대해 질문을 많이 했다. 그는 나의 방법론과 비슷한 생각을 한 적이 있는데, 실제로 작동한다는 사실에 흥미를 가지고 접근했다고 말했다. 이윽고 현재 방법론을 더욱 고도화 시킬 수 있는 방법에 대해 나에게 질문을 했고, 역으로 재미있는 방법론을 제시해 주며 토론 형식으로 서로 아이디어를 주고받았다. 해당 경험은 아이디어가 자유롭게 오고 갈때 가장 창의적인 접근 방식이 나올 수 있다는 사실을 다시 한번 상기해 주었다.Social Event메인 구두발표 세션과 포스터 세션 이외에도 특정 주제에 대해 토론을 할 수 있는 Social Event 가 개최되었다. 이 중 나는 Recent advances on diffusion and GAN 이란 점심 Social Event 를 참여했다. 해당 세션엔 Consistency Trajectory Models (CTM) 의 저자들이 와 있었으며, 패널 형식으로 여러가지 토론을 나눌 수 있었다. 세션동안 생성모델의 현주소와 앞으로 나아갈 방향, 그리고 디퓨전 모델과 autoregressive 모델 중 어느 모델이 우위를 차지할지 등 흥미로운 인사이트를 얻을 수 있었다. 특히, CTM 의 1저자인 김동준님과 1대1로 질문을 할 수 있었다. 현재 진행하는 연구에 대한 질문을 드리고, 김동준님은 연구적으로 조언을 해주셨고 CTM 의 저자들이 현재 수행하고 있는 연구에 대한 프리뷰도 들을 수 있었다.Misc.이번 ICLR 은 특이하게도 outstanding paper awards 이외에도 test of time award 라는 것을 발표했다. 과거 ICLR 에서 발표된 논문들 중, 많은 시간이 지났음에도 아직까지 많이 사용되고 있거나, 딥러닝이란 학문에 큰 영향을 끼친 논문에게 주어지는 상이다. Test of time award 는 다름아닌 VAE 를 제시한 Auto-Encoding Variational Bayes 가 수상하였다. VAE 는 생성모델의 초석을 세운 논문 중 하나이며, 여전히 디퓨전 모델과 autoregressive 모델의 연산량을 줄이기 위해 활발히 사용되고 있기에 최적의 수상작이라고 생각했다.ICLR 2024 는 상상 이상으로 거대했고, 기대 이상으로 흥미로웠다. 나는 현재까지 디퓨전 모델 관련 연구만 진행해왔기 때문에 식견이 많이 좁아져 있었지만, ICLR 을 통해 다양한 연구 분야에 대한 인사이트를 많이 흡수 할 수 있어서 의미 있는 시간이었다.

오스트리아 비엔나(빈)에서 개최된 International Conference on Learning Representations (ICLR)에 참가했다. ICLR은 12년째로 비교적 역사는 짧으나 인공지능 대가들이 만들었고 최근 해당 분야 열풍에 top conference 대열에 합류한 학회다. 2013년 이후 거의 매해 2~3배씩 발표 논문 수가 증가하여 올해는 무려 2,260개 (작년에는1,204개)가 발표되었다. 엄청난 숫자다. 1. ICLR을 비롯하여 최근 인공지능 top conference는 구두 발표를 최소화하고 대부분을 포스터 발표로 한다. 올해 2,260개 발표 중에 구두발표는 86개뿐이었고, 나머지 2,174개는 모두 포스터로 발표되었다. 자세한 내용보다는 전반적인 연구 흐름을 파악하기에는 좋은 방식인 것 같다. 구두 발표는 저자의 일방적인 설명으로 끝나지만 포스터는 내가 궁금한 점을 1대 1로 자세하게 물어 볼 수 있다는 장점이 있다. 물론 너무 사람이 많아 쉽지 않았지만…2. 최근 연구 동향은 단연 생성형 AI(Generative AI)가 주를 이루고 있다. 거대언어모델(large language model; LLM)과 diffusion 모델을 통한 이미지 생성 연구가 많이 발표되었다. 우리 연구실에서 발표한 2편 논문도 모두 diffusion 관련 내용이다. 주어진 이미지를 우리가 원하는 방향으로 변경할 수 있는 image editing 방법에 대한 연구와, 3차원 이미지 생성에서 원근감을 향상시키는 연구다. 모두 최선을 다해 준비했고, 2시간 동안 다양한 질문에 답을 하며 값진 경험을 했으리라 생각된다. 3. 키노드 발표들은 정말 주옥같다. (1) 첫쩨날. MIT Priya Donti 교수의 “Why your work matters for climate in more ways than you think” 는 기후변화에 어떻게 AI가 적용될 수 있는지를 보여주었는데 전반적인 AI모델링에 대한 핵심도 잘 요약해 주어 많은 인사이트를 얻을 수 있었다. (2) 둘째날, 딥마인드 Raia Hadsell 발표(Learning through AI’s winters and springs: unexpected truths on the road to AGI)에서는 Multitude (여러 개로 이루어진 모델) vs Monolith (한 개의 덩어리로 이루어진 모델)의 대한 인사이트를 얻을 수 있었다. 결국 이분은 모듈화된 multitude 가 앞으로의 방향이 될 것으로 전망하고 있다. 철 학과 출신이라 그런지 말의 품위가 느껴지는 발표였다. (3) 셋째날, 조지아텍 Devi Parikh 교수 강연 (Stories from my life) 은 본인이 지난 20여 년간 인공지능 연구자로 어떻게 커리어를 쌓았는지에 대한 내용이었다. 누구든 그렇겠지만 우연찮은 만남, 기회, 좌절, 성취 이런 것들이 실타래처럼 얽히고설켜 지금에 본인이 있다는 내용이다. (4) 마지막 날, Max Planck 연구소 Moritz Hardt 강연 (The emerging science of benchmarks). 보통 방법론을 제안하게 되면 여러가지 benchmark 데이터셋을 이용해서 성능을 검증하게 되는데 이 경우 주의해야 할 점을 자세하게 언급한 내용이었다. 정제된 벤치마크와 그렇지 않은 벤치마크를 ImageNet과 ImageNot 데이터를 이용해 흥미롭게 설명을 하였다. 본 강연을 통해 보다 객관적인 방법론 검증에 대해 생각해 볼 수 있었다. 4. 이번 ICLR에서 특징은 현재 인공지능 분야에서 활발한 연구자를 초청하여 그냥 자유롭게 대화하는 세션이 여러 개 열렸다는 점이다. NYU 조경현 교수님 세션에 참여했는데 생각보다 재미있는 경험이었다. 일단 조경현 교수님은 정말 재미있게 말한다. 내가 알기론 한국에서 대학까지 나온 토종한국인인데 영어가 정말 유창하고 유머감각도 대단하다. 최근 우리나라 학생들도 영어 실력이 많이 늘었지만, 커뮤니케이션 능력이 정말 중요하다는 것을 다시금 느낄 수 있었다. 최근 신약 개발 분야 연구를 많이 하고 계신대 자연어 처리 분야에서 의학 쪽으로 연구 분야를 확장한 이유에 대한 질문에 다음과 같이 명쾌하게 답을 하셨다. “방법론 연구도 좋지만 이를 어떻게 실제 문제에 적용할지에 대한 갈망이 생겼고, 이 중 인간의 생명에 대한 난제를 해결하고 싶었다.” 조경현 교수님 세션을 듣고 난 후 한 문장 요약 “Communication is all you need.”5. 이번 학회에서 ChatGPT4를 정말 유용하게 사용했다. 음식점에서 독일어 메뉴를 사진으로 찍어 “한국어로 번역해 줘”라고 하면 정말 정확하게 나온다. 길거리에 있는 기념비, 조각상, 동상을 사진으로 찍어 알려 달라고 하면 비교적 정확하게 알려 준다. 아주 든든하고 똑똑한 친구를 항상 데리고 다니는 느낌이다. 구글맵, 우버, ChatGPT4, 유튜브, 넷플릭스만 있으면 이제 언제 어디서라도 두려울 게 없는 세상이다.

[학회 후기]2024년 여수에서 열린 대한산업공학회에 참석하였다. 국내 학회 참석(발표)은 약 2년 전 양재에서 열렸던 데이터마이닝학회가 마지막이었는데, 여수에서 열린다는 소식을 듣고 문득 방문하여 직접 발표해보고 싶다는 생각이 들었다. 다행히도, 참여하고 있었던 하이닉스 프로젝트 주제 내에서 발표되면 좋을 주제가 있었는데, 프로젝트에 같이 참여하고 있는 용원이 형에게, "형! 제가 가서 발표해보고 싶습니다 ㅎㅎ" 설득하며 내가 다녀오게 되었다. 오래간만에 서울을 떠나 여수 바다 및 음식도 즐길 수 있었고, 학회장 안에 붐벼있는 사람들도 구경하며 리프레시 되는 기분을 느꼈다. 발표의 경우 SK 하이닉스 연구진들과 공통 세션을 이루어 발표를 진행했다. 서로의 발표 내용들이 모두 이어져 있었기 때문에 청중들도, 발표자들도 모두 한결 이해하기 쉬웠을 것이라 생각한다. 오래간만에 발표하는 것에서 느낀 긴장감과 발표 후 후련함, 뿌듯함이 기억에 많이 남는다. 발표에 관해서는 아직 부족한 점이 많다고 느꼈으며 더욱 노력해야 겠다는 생각도 같이 하였다. 내 발표가 끝난 뒤에는 마음 편하게 다른 사람들의 발표를 청취하였다. 준지도학습과 Domain adaptation들을 기반한 다른 사람들의 연구 주제들이 기억에 남는다. 나도 평소에 관심 가지고 있던 주제들이라, 자연스레 생겨났던 궁금점들 편하게 묻고 응답받는 시간을 가졌다. 내가 연구하고 있는 주제와 결이 비슷한 Open-set Active Learning이라는 연구 주제도 처음 청취할 수 있었는데, 무척 흥미로웠고 다음 연구 주제로 현 연구와 엮어볼 수 있을 것 같다는 느낌도 들어 뿌듯하였다. [발표 후기]반도체 웨이퍼 TEM 이미지에 적합한 Semantic Segmentation을 주제로 발표하였다. TEM 이미지는 촬영 환경 및 여러 현업 이슈로 인해 기존 Semantic Segmentation 기술들을 그대로 활용하는 것이 어렵다. 본 연구는 이러한 문제점들을 극복한 기술을 개발하는 것을 목표하고 있으며, 발표에서는 데이터 부족 및 이미지 노이즈 문제에 강건한 연구 결과물들을 소개하는 시간을 가졌다. 발표가 끝난 후 성능 변화가 실제로 유의미한 것인지 질문을 받았었는데, 정성적으로는 유의미한 변화라고 답했으며(살짝 당황하긴 했었다), 실제 현업에 본 기술을 사용하고 있는 하이닉스 연구진 팀장님께서 같이 동의해주셨고, MIoU 지표 기준으로는 유의미한 성능 향상이 맞다는 교수님 답변 덕분에 무사히 잘 대응할 수 있었다.[청취 후기]지식 증류 기반 약지도 비디오 이상 탐지를 주제로 한 발표를 청취하였다. 여기서, 약지도란 정확하지는 않지만 대략적인 Label만을 이용하여 모델을 학습하는 것을 의미하는데, 여러 이미지 프레임으로 구성된 비디오에 대하여 모든 프레임 별 정상, 비정상을 레이블하는 것이 어려우니, 특정 구간 혹은 동영상 안에 정상만 포함되어 있다, 혹은 이상 현상이 포함되어 있다 정도만 활용해서 정확한 이상 탐지를 목표하는 것이 본 연구의 핵심이였다. 이 때, Label이 아예 안 되어 있는 비디오 데이터들도 존재할텐데, 이들을 약지도로 학습을 수행한 모델로 pseudo-labeling하여 재학습하는 것이 본 연구가 말하는 지식 증류(전달)의 개념이었다. Unlabeled 데이터를 활용하는 방안이 내가 알고 있던 Semi-supervised learning 개념과 매우 유사하여 이해하기 편하였고, 향후 계획 쪽에서 Consistency Regularization 관점에서 효과적인 이미지 증강 쪽을 더욱 파보면서 연구해보겠다 하셨는데 SSL을 많이 공부해 본 입장에서 더 우선시 되면 좋을 것 같은 점들을 발표 후 질의응답 시간에 건내보았다. 다행히, 좋은 생각 같다고 동의해주셔서 뿌듯하였고, 내가 연구하고 있는 SSL 개념이 이런 식으로도 확장될 수 있구나 식견을 넓힐 수 있던 시간이었다.

[학회 후기]2024년 4월 18일 ~ 4월 20일 기간동안 일본 히로시마에서 열린 2024 ICIEA 학회에 참가하였다. 첫 해외 학회를 가게 되서 설렘반 두려움반인 마음으로 학회를 가게 되었다. 처음 학회 장소에 도착했을 때, 오래되 보이는 회사 빌딩이여서 여기가 진짜 학회 장소인가 하는 의문을 가졌었다. 아쉽게도 그 빌딩이 진짜 학회 장소였고, 그나마 섹션이 진행되는 방은 괜찮았다. (물론 발표를 진행하는 도중에 장비가 몇 번 문제를 일으키긴 했다.) 내가 발표하는 섹션은 늦은 오후여서, 다른 섹션 발표를 청취할 기회가 있었다. 기억에 남았던 발표는 대만에서 온 분이 여러 경제 지수를 가지고 TSMC 반도체 수요를 예측하는 연구였는데, 뭔가 삼성 덕분에 반도체 연구를 하는 한국과 비슷하게 느껴져서 더 관심을 가졌던 것 같다. 첫 해외 학회였지만, 무사히 발표도 잘 마무리하고 같이 간 교수님, 연구원들과 좋은 추억을 남긴 학회가 된 것 같다.[발표 후기]이번 학회에서는 human activity recognition (HAR) 분야에서 HAR data 특성을 맞는 self-supervised learning 방법론과 모델 구조를 제안하는 연구를 소개했다. 첫 해외 학회였고, 영어 발표까지 있다 보니 다른 학회보다 더 긴장되고 그만큼 준비도 더 열심히 했던 것 같다. 다행히 섹션에 청취자들이 많이 없었고, 섹션 좌장 교수님이 유쾌하게 분위기를 풀어주셔서 긴장이 많이 풀린 상태에서 발표를 할 수 있었다. 발표를 마치고 질문을 기다리고 있었는데 아무도 질문을 안 해줘서 약간 서운했다. 그래도 그냥 내가 발표를 이해하기 쉽게 해서 없었나보다하고 긍정적으로 생각하기로 했다. 운 좋게 상까지 받아서 첫 영어 발표를 기분 좋게 마무리 할 수 있었다.

[학회 후기]5월 2일, 여수에서 열린 2024년 춘계공동학술대회(한국경영과학회, 대한산업공학회, 한국시뮬레이션학회 공동 주최)에 참가했다. 지난 23년 추계 데이터마이닝학회 청취를 위해 참석한 적은 있지만 내 연구에 대해 발표를 하기 위해 참석한 첫 학회는 이번이 처음이었다. 5시에 출발하는 KTX 첫차를 타고 피곤함 반, 긴장 반 의 상태로 여수로 향했다. 다양한 곳에서 온 수많은 사람들과 빼곡하게 적힌 세션 일정표 속의 다양한 연구주제들을 보면서 학회의 규모와 산업공학 분야에 대한 뜨거운 관심을 느낄 수 있었다. 내 발표는 현업의 문제를 다루는 연구이기에 처음 듣는 사람들에게 어떻게 설명해야 할 지 고민이 많았다. 발표 전에 교수님께서 설명하듯이 자연스럽게 발표하라고 조언해주신 내용과 그간에 진행한 연구실에서의 발표들을 떠올리며 차근차근 발표를 잘 마무리 할 수 있었다. 세션 청취는 주로 산업인공지능 응용 세션과 기업 소속의 연구자들의 발표에 집중하였다. 아무래도 나 부터가 인공지능 학계의 우수한 모델들을 현업에 어떤 식으로 잘 접목 시킬 지를 고민하는 입장이다 보니 현장에서 만나는 제약사항들을 해결하기 위한 다양한 접근방식들에 대해 들을 수 있어서 너무 유익한 시간이었다. 다만, 둘째 아이 출산 직전이어서 학회 둘째 날 까지 함께 하지 못하고 먼저 올라와야 해서 너무 아쉬웠다. 내 상황을 배려해주시고 이해해주신 교수님과 동료 연구원들 덕분에 학회 참석과 둘째 아이의 건강한 출산까지 잘 챙길 수 있었다. 이 자리를 빌어 다시 한 번 감사 인사를 전하고 싶다.[발표 후기]나는 이번 학회에서 '약지도학습 방법론을 활용한 반도체 불량 SEM 이미지 내 불량 영역 분할' 을 주제로 발표를 진행했다. 반도체 제조현장에서는 웨이퍼 표면의 불량을 주사전자현미경(SEM)을 활용해 촬영한 이미지에 대한 분석을 통해 불량 개선 작업을 진행한다. 불량 이미지는 하루에도 수십만장 이상 생성되지만 그 활용도가 제한적이다. 불량 이미지에서 더 많은 특징을 추출 할 수 있도록 불량 영역을 분할하는 것이 연구의 1차 목적이며, 그 분할 작업을 위한 데이터셋 구축에 필요한 비용을 최소화 하는 것이 연구의 2차 목적이다. 문제 해결을 위해 weakly supervised semantic segmentation 의 방법론을 사용하였으며, 도메인과 데이터의 특징을 최대한 반영하는 pseudo label 생성 알고리즘 제안을 통해 데이터셋 생성 비용을 최소화 하였다. 제안 방법론을 통해 값비싼 초기 데이터셋 구축 비용 없이도 지도학습에 준하는 성능을 확보 하여 현업에 충분히 사용 가능한 성능을 낼 수 있다는 결과와 함께, 분할 결과물을 활용해 접근할 수 있는 활용 방안까지 제시하며 발표를 마쳤다.[청취 후기]도메인 일반화 방법론을 이용한 잔존 유효수명 예측 고도화 & 자기지도학습을 통한 잔존수명 예측제조업은 장비 산업이며, 장비는 결국 수많은 부품의 조합으로 이루어져 작동한다. 기계와 설비의 잔존수명(RUL, Remaining Useful Life)을 정확히 예측하는 것은 작게는 설비의 예지보전 관점에서, 더 나아가 제조공정 전체의 생산성과 품질에도 영향을 미치기 때문에 아주 중요하다. 과거 제조업 현장에서는 부품의 수명에 대한 관리가 체계적으로 이루어지지 않았으나 최근 현장에서는 작은 부품 하나하나의 수명과 사용현황에 대해 데이터화하여 분석과 관리에 활용하고 있는 추세이다. 이 두 연구에서는 예지보전을 주제로 각각 도메인 일반화 방법, 자기지도학습 방법 관점에서 문제 해결을 위해 접근하였다. 실제 현장은 절대로 같은 분포를 갖는 데이터들로만 구성되어 있지 않다. 때문에 새로운 데이터에 대한 정보가 없을 때 사용할 수 있는 도메인 일반화 방식으로 접근하여 도메인에 상관없이 강건한 성능을 확보하겠다는 전략은 실시간으로 새로운 데이터가 쏟아지는 제조현장에 적합한 접근법이라고 생각했다. 이번엔 C-MAPSS등 오픈데이터에 적용한 결과들을 발표하셨지만 다양한 산업 데이터에 적용해보면서 강건함을 더한다면 현장에서 활용 가치가 충분한 연구라고 생각했다. 

[학회 후기]대학원 재학 중 처음으로 참석한 해외 학회였다. 대만, 폴란드 등 다양한 나라에서 온 연구자들의 연구 내용을 듣고 견문을 넓힐 수 있는 기회였다. 기존 산업공학의 대표 분야인 인간공학, 최적화 뿐만 아니라 머신러닝 및 인공지능 관련 연구의 비중이 늘어나 인상 깊었으며, 이러한 발표들을 청취하며 개인 연구에 적용할 다양한 아이디어와 양분을 얻을 수 있었다. 특히 인간의 표정으로부터 피로도를 예측하거나, 색조 변화에 강건한 이미지 이상치 탐지 알고리즘 등 특수하고 구체적인 상황을 해결하기 위한 연구가 인상적이었다. 해당 발표자들의 연구를 청취하고 질문하며 낯설었던 연구 분야에 대해 한층 더 잘 알 수 있었다. 특히 사람의 표정으로부터 피로를 예측하는 연구와 감정을 예측하는 연구에 대한 차이를 알 수 있었는데, 감정 예측 연구는 눈썹, 입술 등 얼굴의 다양한 변수들을 고려하지만, 피로를 예측하는 연구에서는 사람의 눈깜빡임이나 개안의 정도, 고개의 흔들림에 좀 더 비중을 둔다고 할 수 있다.  [발표 후기]이 외에도 이번 학회에서 PreMiRE: Robust and Feedback-Efficient Preference-based Reinforcement Learning with Noisy Labels라는 주제로 나의 연구를 소개하였다. 해당 연구는 인간 피드백의 오류가 있는 상황에서도 강건한 성능을 보여주는 선호 기반 강화 학습 방법론을 제안한다. 발표 준비부터 발표, 피드백 과정을 통해 내 연구의 향후 계획을 확립할 수 있었을 뿐만 아니라, 나의 연구를 처음으로 소개할 때 어떻게 더 잘 전달할 수 있을까를 고민하게 되었다. 영어로 처음 발표하다보니, 발음, 어조, 속도가 서툴러 내용을 전부 잘 전달하지 못했다는 아쉬움이 들었다. 이러한 반성은 향후 다른 해외 학회에 참여하였을 때 한 단계 더 성장할 수 있는 밑거름이라고 생각한다.[향후 연구에 대한 적용방안]나의 주 연구분야가 인간 피드백을 통해 로봇을 학습하는 강화학습 쪽이다보니, 해당 분야의 연구들 이외에 다른 연구들에 대해서는 견문이 얕았다는 것을 깨달았다. 이번 해외 학회 청취를 통해 다른 연구 분야에서 정의하는 문제 상황이 나의 연구 분야에서도 존재할 수 있다는 것을 깨달았다. 특히 입력 이미지의 색조나 빛의 방향에 따라 이미지의 범주나 이상 여부 예측이 달라지는 것은 카메라 입력 기반 강화학습에도 존재하는 문제이다. 예를 들어, LiDAR 이미지 기반으로 움직이는 자율주행자동차 에이전트를 학습할 때, 동일한 도로 조건임에도 아침, 낮, 저녁에 따라 픽셀값이 다르기 때문에 다른 행동을 선택하는 현상이 발생할 수 있다. 따라서 다음 연구에서는 인간 피드백의 오류에 대한 강건성 뿐만 아니라, 입력 이미지의 색조 변화에 따른 강건성을 개선하기 위한 연구로 확장시킬 수있을것 같다.[청취 후기]Construction of a Five-Sensory Human-Robot Collaboration and Model for Detecting Human Emotion and Fatigue인간과 로봇 능력을 원활하게 통합하는 협업 시스템은 완전 자동화된 시스템과 오로지 인간 작업에 의존하는 시스템보다 독특한 이점을 제공한다. 이 우위는 각 구성 요소의 독특한 강점에서 나타납니다: 인간의 적응력과 미묘한 의사 결정 능력은 로봇의 지침 없는 효율과 정밀성과 대조된다. 그러나 인간 작업자는 종종 피로를 경험하며, 이는 다양한 맥락에서 성능과 안전을 저해할 수 있다. 따라서 인간-로봇 협업의 맥락에서 로봇이 자신의 감각 능력을 활용하여 인간의 피로 징후를 모니터링하고 감지하는 것이 중요해진다. 시각, 오디오, 심지어 촉각 센서와 같은 다중 감각 인식 메커니즘을 적용함으로써 로봇은 실시간으로 인간 동료의 신체적 및 인지적 상태를 평가할 수 있다. 이는 피로의 효과를 완화하기 위해 작업 부하 분배를 조정하게 한다. 결과적으로 협업 시스템 내에서 인간 피로의 효과적인 관리는 운영 효율과 안전성을 향상시키는 데에 그치지 않고 더 지속 가능하고 조화로운 인간-로봇 상호 작용 패러다임을 육성한다.질문 1.)컴퓨터 비전 분야에서 가장 유명한 연구 분야 중 하나인 Facial Emotion Detection과 Fatigue Detection은 매우 유사해 보입니다. 이들 간에 주요한 차이점이 있나요? 혹은 피로 감지가 감정 감지에는 없는 주요한 도전 과제가 있나요?답변1.) (발표자): 사실, 피로 감지는 시각 센서를 사용하여 인간 얼굴 특징 그래프를 활용하는 측면에서 감정 감지와 매우 유사합니다. 그러나 감정 감지는 눈썹이 기울어지거나 입술 등 다양한 얼굴 특징을 사용하여 감정을 포착하는 반면, 피로 감지는 주로 눈 깜빡임이나 머리 끄덕임에 집중합니다.느낀 점 : 감성 탐지와 피로 탐지가 크게 보면 같은 범주이며 무슨 차이가 있는지 처음엔 잘 파악하지 못했다. 답변을 듣고 나니 공통점은 두 분야 모두 사람 얼굴의 좌표들을 그래프로 받아 분류하는 것은 같다는 것이다. 차이점은 감성 탐지는 얼굴의 전반적인 모든 설명 변수를 활용하는 반면, 피로 탐지는 사람이 피로를 느낄 때 눈을 깜빡이거나 고개의 흔들림 등의 행동이 나타나기에 이러한 센서에 좀 더 집중한다는 것을 알 수 있었다.Robust Anomaly Detection for Color Cast Images by Efficient Color Augmentation해당 연구는 색조가 들어간 이미지 내 이상 감지에서 중요한 문제를 다루고 있다. 색조나 조명 조건의 변화는 동일한 데이터 인스턴스에 대해 이질적인 이상 감지 예측을 초래할 수 있다. 본 연구는 MVTec 데이터셋을 활용하며,  이러한 색조 변화를 충분히 고려하지 못하는 데이터 설정 부재에 대해 살펴봅니다. 결과적으로 발표자는 이러한 문제를 해결하기 위해 데이터셋을 수동으로 변형하였다.  본 연구의 핵심은 새로운 색조 기반 증강 기술의 개발과 제안에 있다. 제안된 증강 방법은 변동하는 조명 조건이나 색조 변화의 부정적인 영향으로부터 이미지 기반 이상 감지 알고리즘을 개선 시킨다. 이 혁신적인 접근 방식을 이상 감지 프레임워크에 통합함으로써, 연구진은 다양한 환경 설정과 이미지 조건에서의 견고성과 일반화 능력을 향상시키고자 하였다. 제안 방법론은 이상 감지 시스템의 정확성과 신뢰성을 향상시키는 데에 그치지 않고, 실제 세계의 이미지 분석 시나리오에서 중요한 도전 과제를 해결함으로써 컴퓨터 비전 분야 전반의 발전에 기여할 것으로 기대된다.질문 1.) 색조나 조명 조건이 변할 때 이상치 탐지 알고리즘의 예측 결과가 왜 변하는가요?답변 1.) 이미지 기반 이상 감지 알고리즘은 대상 객체의 색상 뿐만 아니라 질감과 의미에 기반하여 예측을 수행합니다. 따라서 색상이 변함에 따라 예측된 값이 변할 수 있습니다.느낀 점 : 이미지 기반 이상치 탐지 알고리즘은 주로 CNN 모델을 쓰기 때문에 픽셀 값에 기반해 예측값을 산출하게 된다. 따라서 예측값은 질감, 물체의 경계, 색깔에 기반하여 예측을 수행하기 때문에 색조에 대한 예측의 값이 일치하기 위해서 이미지 증강 기법이 필요하다는 것을 알 수 있었다.

[학회 후기]무엇이든 처음은 설레는 법이다. 이번 5월 2일 ~ 4일, 여수에서 열린 2024년 춘계공동학술대회(한국경영과학회, 대한산업공학회, 한국시뮬레이션학회 공동 주최)가 나에게 그러했다. 사전등록 확인 데스크에서 명찰과 식권을 받고, 첫 세션을 들으러 가는 길에도 내가 학회에 참여하고 있다는 사실이 실감나지 않았다. 예상보다도 훨씬, 훨씬 많았던 북적이는 사람들이 기억에 남는다.세션 청취에 있어, 두려워하지 말고 최대한 다양한 발표를 듣고 오는 것을 목표삼았다. 진수선배와 성수가 참여한 반도체 AI 관련 발표와 최적화와 관련 발표, 양자컴퓨팅, 거대언어모델 등 다양한 주제의 발표를 들었다. 그 과정에서, 산업공학 연구자들이 해결하고자 하는 문제들은 그 범위가 매우 넓으며, 문제 해결을 위해 정말정말 다양한 접근 방식이 사용되고있음을 체감했다. 가령, 크게 '반도체 생산성 향상'이라는 주제라도, 문제를 어떻게 정의하는지에 따라 우리 연구실에서 발표한 내용처럼 이미지 계열 인공지능을 활용할 수도 있고, 최적화 휴리스틱 알고리즘, 또는 강화학습을 활용할 수 있다. 산업공학 연구자들이 문제를 다양하게 정의하고 접근하는 방식, 그리고 문제 해결을 위한 그들의 치열한 고민의 흔적을 살펴보고, 그 고민을 함께할 수 있는 매우 유의미한 시간이었다.세션 발표 외에도, 다른 연구자들과 의견을 교류할 수 있는 자투리 시간들도 매우 의미있는 시간이었다. 서로 다른 연구분야를 연구하는 친구들과 선후배들, 또는 우리 학교 다른 연구실 연구원분들과 다양한 연구분야의 시선으로 공통된 문제를 바라보며 하는 토의는 매우 생산적이었다. 약 2~30분의 쉬는시간은 짧게만 느껴졌다.이번 산업공학회는 다양한 연구 분야와 접근 방식을 살펴보면서 시야를 넓히고, 내 개인 연구에 대한 아이디어도 풍성하게 얻을 수 있는 좋은 시간이었다. 다만 아쉬운 점은 그 기간이 너무 짧았다는 것이다. 앞으로도 좋은 연구를 많이 해서 학회에 자주 참석하겠다는 결의를 다지며 용산행 KTX에 몸을 실었다.[발표 후기]이번 산업공학회에서 '자가지도학습 방법론을 통한 조합최적화'라는 주제로 발표를 진행했다. 조합최적화 문제는 NP-Hard 문제로, 다항(Polynomial) 시간 내에 최적해를 얻는 것이 불가능하다고 알려져있다. 이에 조합최적화 문제에 접근하기 위한 다양한 heuristic이 연구되고 있으며, 머신러닝을 통한 접근 방법도 최근 활발하게 연구되고 있는 heuristic 분야 중 하나이다. 머신러닝 기반 heuristic은 보통 지도학습과 강화학습을 기반으로 진행된다. 이 때 그래프 기반 인공신경망을 활용한 자가지도학습으로 모델이 조합최적화 문제를 표현하는 그래프에 대한 representation을 효과적으로 추출할 수 있도록 한다면, 이를 통해 도출된 해의 품질을 향상할 수 있다는 것이 주된 연구의 내용이다. 또 실험 결과로, 그래프 기반 자가지도학습을 도입하였을 때 도출된 해의 품질이 향상될 여지가 충분함을 확인할 수 있었다.질문 1) 그래프 인공신경망에 노드 정보를 입력할 때 단순 좌표 정보 외의 다른 정보를 입력하면 도움이 되지 않을까요?답변 1) 본 발표에서 다룬 TSP 문제의 경우, 노드 간의 관계가 두 좌표를 활용해 계산된 Euclidean distance이기 때문에 그래프 인공신경망의 연산 과정에서 해당 정보가 직접 반영될 수 있다고 판단하였습니다. 단, TSP가 아닌 CVRP 등 거리 정보 외의 다른 정보를 갖고 있는 문제의 경우 직접 해당 정보를 노드  정보로 입력해주는 것이 타당하며, 더 좋은 결과에 기여할 것으로 판단합니다.[청취 후기]계층적 차량 경로 선정 문제를 위한 목적함수값 예측 인공신경망 및 유전 알고리즘CVRP로 대표되는 경로 최적화 문제는 NP-Hard 문제이며, 이를 해결하기 위해 다양한 알고리즘이 개발되고 있으나 그 개발은 까다롭고 복잡하다. 해당 연구에서는 경로 최적화 문제를 실제로 해결하지 않고, 인공신경망을 활용하여 문제 instance의 목적함수 값을 예측하는 것이 제안 방법론의 핵심 내용이다. 해당 연구에서는 제안 방법론을 통해 경로 최적화 문제 중 MDVRP 문제와 CLRP 문제에 대해서 높은 품질의 솔루션을 효과적으로 도출할 수 있음을 실험을 통해 확인하였다. 먼저 목적함수 값을 예측하는 학습을 통해 최적화 문제를 해결한다는 접근이 상당히 흥미로웠다. 또, 유전 알고리즘의 경우 최적화 연구분야 뿐만 아니라 산업공학회에서 접할 수 있었던 여러 연구분야에서 활발하게 사용되고 있는 알고리즘이었다. 이를 제안하는 핵심 방법과 결합하는 방법이 상당히 인상깊었다.

[학회 후기]새벽 세시반 알람을 듣고 서둘러 여수로 떠날 채비를 했다. 2024년 춘계공동학술대회(한국경영과학회, 대한산업공학회, 한국시뮬레이션학회 공동 주최)는 이번에는 여수에서 열렸다.지난 해 가을 울산에서 열린 석사논문경진대회에 참가 후 두 번째 참석이지만 무척이나 긴장 되었다. 5시 첫차를타고 KTX를 타고 3시간 쯤 흐르자 여수 엑스포에 도착하였다.이른 아침이라 사람들이 많이 없었고, 여유롭게 학회 등록을 마친 뒤 교수님과 학생들을 기다렸다. 9시 쯤 되자 교수님과 하루 일찍 먼저 내려간 성수, 진수, 민성이를 만나서 인사하였다.이번 학회에서는 특히 인공지능 응용분야에 다양한 주제가 다루어 졌고, 이중에서 내 연구에 참고할 부분이 매우 많았다. 500여 개가 넘는 세션이 있었고 어떤 세션을 들을지 체크하는 것 만 해도 쉽지 않았다.나는 산업 인공지능 응용 세션과 최적화 세션 중 강화학습을 다룬 세션을 위주로 청취하였다. 아울러, 회사의 내 부서에서 작년부터 진행하는 반도체 AI 워킹그룹 세션이 있어 오랜만에 그룹장님과 동료 선/후배들과 인사하였다.여기서는 우리 회사에서 개선이 필요한 Item 들을 소개한 후 학계 참석자들과 토론하는 시간이었고 매우 유익하였다.학회를 마치고 성수, 진수, 민성이와 식사 후 여수의 저녁을 즐겼다. 처음 방문한 여수라 모든것이 설레였고 특히 케이블카 탑승 후 본 여수의 밤이 아름다웠다.[발표 후기]이번 발표는 지난 석사논문경진대회에서 발표한 연구를 조금더 진행하여 다양한 데이터 셋에서 강건한 성능을 보이는다중 스테이지 공정을 위한 범용 진단 네트워크를 주제로 발표를 진행하였다. 대부분의 제조 공정은 단일 스테이지 공정이 아닌 다중 스테이지 공정이다. 다중 스테이지 공정은 원재료가 여러 설비와 단계를 거쳐 최종 제품으로 변환되는 공정이다. 이러한 다중 스테이지 공정을 거친 제품에서 결함이 발견될 경우, 어느 설비의 공정에서 문제가 발생했는지를 분석하는 과정은 많은 시간이 소요되고, 작업자의 전문성에 크게 의존하는 경향이 있어 일관된 분석 결과를 얻기 어렵다. 최근 제조 현장에서는 다양한 설비에서 센서 데이터가 실시간으로 생성되고 있으며, 이 센서 데이터에는 설비의 상태, 공정의 진행 상황, 그리고 설비의 운영 조건 등에 대한 정보가 포함되어 있다. 이러한 배경을 기반으로 다중 스테이지 제조 공정 내에서 생성된 설비 센서 데이터를 기반으로 제품의 품질을 분류하고, 제품 결함에 영향력이 큰 설비와 센서를 해석할 수 있는 범용 진단 네트워크를 제안하였다.또한 다양한 산업데이터에 강건함을 입증하기위해 대표적인 다중 스테이지 공정인 반도체 설비 센서 데이터와 철강 제품을 제련하는 오스템퍼링(austempering) 공정 설비 데이터를 활용하여 다양한 방법론들과 비교 실험을 통해 제안 방법론이 최적의 제품 분류 성능을 보임을 입증했으며 분류 결과의 해석을 통해 영향력이 큰 설비와 센서를 식별할 수 있었음을 발표하였다. 세션의 첫번째 발표인 만큼 나름 긴장이 되었으나 청취자 분들이 열심히 내 발표를 듣는 모습에 용기내여 잘 마무리 할 수 있었다.질문 1) 공정 간 상관성은 어떻게 산출 한 것인가?답변 1) 각 공정 센서 별 다변량 시계열 데이터를 통계화 하여 피어슨 상관관계 분석한 결과를 평균 내었다.질문 2) 시계열 데이터 간의 Sampling 주기가 다른 경우 어떻게 처리하나?답변 2) 단순 보간 또는 LSTM 네트워크를 사용하여 누락된 데이터 포인트를 예측하는 방법으로 주기를 통일 할 수 있다.[청취 후기]자가지도학습 방법론을 통합 조합최적화우리 연구실 민성이가 연구 한 주제를 관심있게 들었다. 조합최적화 문제들은 NP-Hard 여서 Size가 조금이라도 커지면 최적의 솔루션을획득 할 수 없어 휴리스틱하게 주로 연구되어왔다. 최근에는 머신러닝 기반으로 지도학습 / 강화학습을 접목한 연구가 이루어지고있다.하지만 지도학습에서는 최적조합을 학습시키기 위해 정답을 제공해야되는데 이런 데이터로 학습된 모델은 결국 기존 알고리즘보다 높은 성능을 기대할수가 없다.따라서 거의 무한히 생성할 수 있는 X 데이터를 기반으로 자가지도학습을 접목하여 기존 지도학습을 통한 최적조합 학습 대비 어느정도 성능 향상이 있을지 실험해보는 접근 방법이었다.X 데이터인 레이블링되어있지 않은 그래프를 Graph Attention Encoder 로 Embedding 후 MLP Classifier로 유사한 노드끼리 클러스터링 시킨 후 Y 라벨이 있는 데이터로 Fine-Tuning 한 결과단순 지도학습 모델 대비 유의미한 성능 향상이 관측 되었다. 향후 연구가 더 기대되는 발표였다.

[학회 후기]푸르른 남해 바다를 낀 여수에서 열린 2024년 춘계공동학술대회(한국경영과학회, 대한산업공학회, 한국시뮬레이션학회 공동 주최)에 참석하였다. KTX로 약 3시간 걸려 도착한 여수의 바다 내음과 맛있는 음식들은 리프레쉬 하기에 충분했다. 또한, 이번 대한산업공학회는 내 대학원 인생 3번째 참석이었지만 학회장의 뜨거운 열기는 아직도 낯설었다. 1000명 이상이 등록했을 만큼 학회장은 사람들로 붐볐고, 경희대 선/후배들과 연구실 졸업생 이경이 등 반가운 얼굴들을 많이 볼 수 있었다. 특히, 이번 학회는 SK하이닉스 연구진들과 하나의 세션을 이루어 함께 발표했던 것이 가장 기억에 남는다. 반도체 이미지에 인공지능을 도입한 연구사례와 실제 현업 적용사례를 동시에 다루는 만큼, 우리 세션은 가장 큰 세미나실이었음에도 사람들로 가득했다. 개인적으로는 많이 떨었던 것 같고, 준비한 것을 다 보여주지 못한 것 같아 다소 아쉬움은 남는다. 더불어, 이번 춘계공동학술대회에서는 인공지능과 관련된 주제들이 많이 다뤄졌다. 학술발표가 할당된 2일간 산업인공지능 응용 분야만 12개 세션이 열렸을 만큼, 굉장히 다양한 주제가 논의되었다. 특히, 우리 연구실에서도 많이 하는 준지도학습 및 도메인 일반화와 관련된 주제들은 쉽게 찾아볼 수 있을 정도로, 산업공학과에서 인공지능에 대한 관심이 높아진 것을 실감할 수 있었다. 이번 학회도 역시나 즐거운 추억 뿐만 아니라 유익한 기억이 가득했다.[발표 후기]앞서 후기에 언급한 것처럼, 이번 발표는 SK하이닉스 산학과제에서 연구했던 내용을 주제로 발표를 진행했다. 주제는 “반도체 웨이퍼 TEM 이미지를 위한 초해상화 프레임워크”였다. 초해상화 모델 학습을 위해서는 저화질 및 고화질 이미지가 모두 필요한 반면, 반도체 웨이퍼 TEM 이미지는 고화질 이미지만 존재하기에 학습에 어려움이 존재한다. 또한, 반도체 웨이퍼 TEM 이미지는 경계선 및 미세패턴 복원이 중요하다. 따라서, 본 연구는 불완전한 데이터 쌍 문제를 극복하고, 경계선과 미세패턴을 효과적으로 복원할 수 있는 프레임워크를 새롭게 제안하였다. 실제 저화질 이미지를 복원한 결과, 제안하는 프레임워크는 알려지지 않은 노이즈를 잘 대응했을 뿐만 아니라, 경계선도 효과적으로 복원할 수 있었다. 초해상화는 개인적으로 이번 과제를 수행하면서 처음 접해본 토픽이었다. 연구 초반에는 어려웠지만, 하면 할수록 어느정도 윤곽이 잡혀 재밌게 연구하였다. 특히, 현업 엔지니어들과 함께 연구하는 과정에서 기업 관점의 유의미한 피드백을 지속적으로 받았던 것이 큰 도움이 되었다. 덕분에 이론적인 관점에 매몰되지 않고, 현업에 도움이 될 수 있는 현실적인 연구를 수행 할 수 있었다.질문 1) 해당 프레임워크를 다른 문제상황에 적용하려면 어떻게 변경하면 좋을지 궁금하다.답변 1) 만약 초해상화라는 문제점이 동일하다면, Image Enhancing을 다르게 변경해보는 것을 권장한다. 예를 들어, 만약 접한 문제상황이 Salt-and-pepper Noise를 제거하는 것이라면, Image Enhancing 대신 Image Denoising을 추가하는 것처럼 말이다. [청취 후기]장비 점검일지 디지털화를 위한 컴퓨터 비전 기반 셀 인식흔히 현장에서는 정해진 양식에 수기로 장비들 및 작업 현황을 체크한다. 하지만, 해당 과정은 늘 인간이 개입하여 자료를 정리 및 처리하는데 많은 시간이 소요된다. 따라서 본 연구는 이러한 단어들을 자동으로 식별하고, 각 셀에 정리하는 과정을 인간의 개입 없이 인공지능으로 구현하고자 한다. 하지만 글자 인식은 둘째 치고, 각 글자들이 정해진 양식의 칸을 넘어가는 경우가 있다. 본 연구에서는 단어 간 연결성을 파악하여 이처럼 칸을 넘어가는 단어들을 정해진 셀에 알맞게 넣고자 하였다. 이를 위해 OCR 기술과 GNN 기술을 동시에 활용하여 단어들의 연결성을 식별하고자 하였다.질문 1) 이미 단어들을 잘 추출했는데, 언어 모델이 아닌 GNN을 적용한 이유가 있나요?답변 1) 인접한 노드 간 연결성을 잘 파악할 수 있는 장점을 가진 GNN은 연결되는 단어 식별에 도움이 될 수 있다고 판단하였습니다.