Introduction
Related Papers
Methods
Results
Discussion
기존 bert 같은 경우는 down-stream task를 위해 CLS 토큰에 해당하는 embedding vector를 사용해서 classification 등의 task를 해결하려는 approach.
- 이 때에도, output vector를 사용하는 방법으로는,
- CLS의 output-vector,
- 모든 output-vector의 mean-pooling
- 모든 output-vector의 max-pooling
그러나, control 조건 별로 통제하고 bert 출력을 계속 받고 하는 framework가 느리고 inefficient하다는 feedback.
→ 따라서, 이를 위해 제안된 “framework”가 SBERT, Sentence-BERT.
Task:
사실 이러한 task를 지정하는 부분에서 인지심리학자들이 연구해봐야 한다고 생각함.
어떠한 task를 준비해야 LLM 등의 base-model에 natural 한 language를 learning 시킬 수 있을까…?
또한, 언어적 특징 외에는 어떠한 modal들을 합치고 볶고 할 수 있게 해줄 수 있을까?
-
NLI(Natural Language Inference)
- 두 문장이 제시되면 두 문장의 관계를 추론하는 학습
- answer는 Entailment, Contradiction, Neutral로 응답 가능.
- 한국어 버전은 ??에서 제공하는 KorNLI.
-
STS(Semantic Textual Similarity)
- 두 문장의 의미적 유사성을 구하는 task.
- 응답 label은 0~5.
- 한국어 버전은 kakao에서 제공하는 KorSTS.
- detail 하게 말하면, BERT계열 backbone 모델에, sen_A, sen_B 넣고 각각 pooling 한 다음, cosine-sim 걸고 이를 label이랑 비교.
- 물론, label과 cosine-sim은 range가 다르지만, 이는 scaling하면 되니 문제는 아님.
- MSE 쓴다고 함.