AI-LAB/NLP_Basic
NLP_3_파인튜닝 외의 다운스트림 태스크 학습법
JS LAB
2023. 6. 21. 03:38
728x90
반응형
파인튜닝(fine-tuning)
다운스트림 태스크 데이터 전체 사용
다운스트림 데이터에 맞게 모델 전체를 업데이트
프롬프트 튜닝(prompt tuning)
다운스트림 태스크 데이터 전체 사용
다운스트림 데이터에 맞게 모델 일부만 업데이트
인컨텍스트 러닝(in-context learning)
다운스트림 태스크 데이터의 일부만 사용
모델을 업데이트 하지 않음
인컨텍스트 러닝 1 : 제로샷 러닝(zero-shot learning)
다운스트림 태스크 데이터를 전혀 사용하지 않음
모델이 바로 다운스트림 태스크 수행
인컨텍스트 러닝 2 : 원샷 러닝(one-shot learning)
다운스트림 태스크 데이터를 1건만 사용
모델은 1건의 데이터가 어떻게 수행되는지 참고한 뒤
다운스트림 태스크 수행
인컨텍스트 러닝 3 : 퓨샷 러닝(few-shot learning)
다운스트림 태스크 데이터를 몇 건만 사용
모델은 몇 건의 데이터가 어떻게 수행되는 지 참고한 뒤
다운스트림 태스크 수행
파인튜닝 이외의 방식이 주목받고 있는 이유는 비용과 성능 때문
최근 언어 모델의 크기가 기하급수로 커지는 중..
728x90
반응형