전이 학습(트랜스퍼 러닝)

전이 학습
이란 학습이 되어있는 모델로 재학습을 하는 것을 말한다.

예를 들어 미리 학습되어 있는 BERT 모델을 수집, 전처리한 메일 데이터를 이용해 스팸 분류 모델로 만드는 것이 있다.

업스트림 테스크

여기서 BERT 모델을 선행 학습하는 것을 업스트림 테스크를 프리트레인(pre-train)이라한다.
업스트림 테스크에는 다음 단어 맞추기, 빈칸 채우기 등이 있다.

다운스트림 테스크

문서 분류	문서 분류 모델은 자연어를 입력 받아 해당 입력이 긍정, 중립, 부정과 같은 어떠한 범주에 속하는지 확률을 반환한다.
자연어 추론	두 문장의 관계가 참 또는 거짓일 확률을 반환한다.
개체명 인식	자연어(문서, 문장) 중 기관명, 인명, 지명 등 어떤 범주에 속하는지 확률값을 반환
질의응답	자연어(질문+지문)을 입력받아 각 단어가 정답의 시작 & 끝 값일 확률을 반환
문장 생성	자연어(문장)을 입력받아 어휘 전체에 대한 확률값을 반환