728x90 반응형 NLP3 NLP_3_파인튜닝 외의 다운스트림 태스크 학습법 파인튜닝(fine-tuning) 다운스트림 태스크 데이터 전체 사용 다운스트림 데이터에 맞게 모델 전체를 업데이트 프롬프트 튜닝(prompt tuning) 다운스트림 태스크 데이터 전체 사용 다운스트림 데이터에 맞게 모델 일부만 업데이트 인컨텍스트 러닝(in-context learning) 다운스트림 태스크 데이터의 일부만 사용 모델을 업데이트 하지 않음 인컨텍스트 러닝 1 : 제로샷 러닝(zero-shot learning) 다운스트림 태스크 데이터를 전혀 사용하지 않음 모델이 바로 다운스트림 태스크 수행 인컨텍스트 러닝 2 : 원샷 러닝(one-shot learning) 다운스트림 태스크 데이터를 1건만 사용 모델은 1건의 데이터가 어떻게 수행되는지 참고한 뒤 다운스트림 태스크 수행 인컨텍스트 러닝 3.. 2023. 6. 21. NLP_2_트랜스퍼 러닝 트랜스퍼 러닝(transfer learning) 트랜스퍼 러닝이란 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법을 가리킨다. 다음 그림처럼 태스크2를 수행하는 모델을 만든다고 가정하면 트랜스퍼 러닝이 도움이 될 것이다. 모델이 태스크2를 배울 때 태스크1을 수행해 봤던 경험을 재활용하기 때문이다! 트랜스퍼 러닝이란 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법이다. 트랜스퍼 러닝을 적용하면 기존 보다 모델의 학습 속도가 빨라지고 새로운 태스크를 더 잘 수행하는 경향이 있다. BERT, GPT 등도 트랜스퍼 러닝이 적용되었다. 그림 1-6에서 태스크1은 업스트림 태스크라고 부르고 태스크2는 다운스트림 태스크 라고 부른다. 태스크1은 다음 단어 맞히기, 빈칸 채우기 등의 .. 2023. 6. 20. NLP_1_딥러닝 기반 자연어 처리 모델 기계의 자연어 처리 기계가 사람 말을 알아듣는 것처럼 보이게 하려면 어떤 요소들이 있어야 할까? model model은 입력을 받아 어떤 처리를 수행하는 함수이다. model의 출력은 확률이다. 확률이란 어떤 사건이 나타날 가능성을 의미하는 수치이며 0에서 1사이의 값으로 나타난다. 다시 말해 model은 어떤 입력을 받아 해당 입력이 특정 범주일 확률을 반환하는 확률 함수이다. 그렇다면 자연어 처리 모델에서 model의 입력은 무엇일까! 바로 사람의 말, 즉 '자연어' 이다. 자연어 처리 모델은 자연어를 입력받아서 해당 입력이 특정 범주일 확률을 반환하는 확률 함수! 딥러닝 모델의 학습 딥러닝 자연어 처리 모델을 만들려면 무엇을 해야할까? 우선 데이터를 준비 각 문장에 레이블을 달아 놓은 자료가 있어야.. 2023. 6. 20. 이전 1 다음 728x90 반응형
