발견: 준용 (PR 리뷰) · 해결: PR #16 (440a5d5)

증상: BM25 검색 결과에 관련 없는 문서가 상위에 노출. 검색 품질 저하.

원인: BM25 토크나이저가 의존명사(NNB 품사 태그)를 포함하고 있었음. "것", "수", "데", "바" 등은 거의 모든 문서에 등장 → TF-IDF 가중치를 왔곡하여 무관한 문서가 높은 점수를 받음.

해결: 형태소 분석 후 NNB(의존명사) 품사 태그 제거:

tokens = [t for t in tokens if t.pos != 'NNB']

교훈:

• 한국어 BM25에서 의존명사는 영어의 stopword에 해당 — 반드시 필터링
• 토크나이저 품질이 BM25 검색 품질에 직접 영향