[딥러닝] continual learning ( incremental learning, lifelong learning ) vs transfer learning vs multi task learning vs meta laerning 차이점, 비교

우선 continual learning 에 대해 설명하기에 앞서 adaptive machine learning 이라는 큰 분야에서 사용되고 있는 learning 방법들의 이름이 많아 헷갈리지 않기 위해 이를 정리한다.

 

- continual learning, incremental learning, lifelong learning 은 기술적으로 목표가 같은 learning 방법들이다. 단어 그대로 조금씩 차이는 있지만 같은 learning 방식이라고 이해해도 괜찮아 보인다. 이들은 공통적으로 dataset 여러 개를 순차적으로 학습하는데 (sequential learning) 학습을 진행할수록 성능이 좋아지는 good forward tranfer와 학습이 진행되더라도 이전 dataset 을 기억하는 forgetting 방지를 목표로 한다. 

 

- transfer learning vs continual learning : 두 learning은 여러 dataset(task)을 학습하는 것은 동일하다. 하지만  transfer learning은 target task와 관련된 데이터로 사전 학습된 모델을 target task에 가져다쓰는 방식이다. transfer learning은 target task의 성능이 목적이므로 forgetting을 신경쓰지 않는다는 것에 차이가 있다. 

 

- domain adaptation vs continual learning : domain adaptation은 transfer learning 과 같이 target task와 관련된 task들로 사전 학습을 하고, 최종적으로 target task를 학습하여 target task의 성능을 이끌어내는 방식인데, target task 가 unsupervised data일 때 주로 domain adaptation이라 부른다. tranfer learning 과 같이 forgetting을 신경쓰지 않고 target task만 잘 되는 것이 목적이라 continual learning과는 차이가 있다. 

 

- multi task learning vs continual learning : multi task learning은 하나의 모델이 여러 task를 수행하도록 설계, 학습하는 것 이다. multi task를 잘 위해서 continual learning 를 사용하기도 할 뿐, multi task learning은 여러 task를 잘 수행하기만 하면 되는 것이라 모두 continual learning을 사용하지는 않는다. 

 

- meta learning vs continual learning : cotinual learning은 dataset들을 순차적으로 학습하는 것을 잘하게 하는 방법으로 이해하면 되고, meta learning은 아주 적은 data수를 갖는 target task ( few shot task ) 를 잘하기 위해서, 다른 few shot dataset들로 학습하는 방법을 모델이 배우거나, 저장해 놓은 다음 이를 target task 에 적용해서 성능을 높이는 방법이다. meta learning은 dataset을 순차적으로 처리하지 않아도 되며, forgetting도 신경쓰지 않는다. 

 

이 다음 글에서는 continual learning 에 대해 설명하고, 그 이후 meta learning에 대해 설명하고자 한다.