NLP_3_파인튜닝 외의 다운스트림 태스크 학습법

파인튜닝(fine-tuning)

다운스트림 태스크 데이터 전체 사용

다운스트림 데이터에 맞게 모델 전체를 업데이트

 

프롬프트 튜닝(prompt tuning)

다운스트림 태스크 데이터 전체 사용

다운스트림 데이터에 맞게 모델 일부만 업데이트

 

인컨텍스트 러닝(in-context learning)

다운스트림 태스크 데이터의 일부만 사용

모델을 업데이트 하지 않음

 

인컨텍스트 러닝 1  :  제로샷 러닝(zero-shot learning)

다운스트림 태스크 데이터를 전혀 사용하지 않음

모델이 바로 다운스트림 태스크 수행

 

인컨텍스트 러닝 2 :  원샷 러닝(one-shot learning)

다운스트림 태스크 데이터를 1건만 사용

모델은 1건의 데이터가 어떻게 수행되는지 참고한 뒤

다운스트림 태스크 수행

 

인컨텍스트 러닝 3 : 퓨샷 러닝(few-shot learning)

다운스트림 태스크 데이터를 몇 건만 사용

모델은 몇 건의 데이터가 어떻게 수행되는 지 참고한 뒤

다운스트림 태스크 수행

---

파인튜닝 이외의 방식이 주목받고 있는 이유는 비용과 성능 때문

최근 언어 모델의 크기가 기하급수로 커지는 중..