Evaluation Instructions

- MTEB를 custom하여 오픈소스 임베딩 모델을 평가 (데이터셋 일부 수정)

- 평가 코드 업로드 예정

- IR / Clustering 평가 Dataset 추가 예정

- HuggingFace에 기재된 대로 진행하되, SentenceTransformer > Transformers 의 우선순위로 모델 load.

(단, Flagembedding으로만 기재된 경우, SentenceTransformer와 Transformers 중 높은 성능의 것으로 기입 // Flagembedding로 Load 필요시, 추후 진행)

- pair sentence로 존재하는 Dataset 중, 중복 pair는 제거 ( (A, B) = (B, A) )

- LLM Based 임베딩 모델은 fp16/bf16으로 평가

- 문의 사항이나, 평가가 필요한 모델은 issue에 남겨주세요.

- 잘못된 부분에 대한 조언/멘트는 감사히 받겠습니다.