텍스톰에서 제공하는 TF-IDF 값 산출식은 아래와 같습니다.

TF : 해당 단어의 빈도

ln : 자연로그

D : 전체 문서 수

DF : 해당 단어가 포함된 문서 수

TF-IDF(Term Frequency – Inverse Document Frequency) : 여러 문서로 이루어진 문서군이 있을 때 어떤 단어가 특정 문서 내에서 얼마나 중요한 것인지를 나타내는 통계적 수치로, 형태소 분석과 함께 많이 쓰입니다.

- 문장에 사용된 모든 단어에 점수를 부여하는 알고리즘으로 특정 문서 내에서 단어 빈도가 높으며, 전체 문서들 중 그 단어를 포함한 문서가 적을수록 TF-IDF값은 높아집니다. 따라서 이 값을 이용하면 모든 문서에 흔하게 나타나는 단어를 걸러낼 수 있고, 문서의 핵심어를 추출할 수 있습니다.

- TF(Term Frequency, 단어빈도) : 전체 문서에서 해당 단어가 얼마나 나왔는지를 나타내는 값을 나타냅니다.

- IDF(Inverse Document Frequency, 역문서빈도) : DF의 역수를 취한 값을 의미하는데, 즉 전체 문서 수 / 해당 단어가 나타난 문서 수로, 한 단어가 문서 집합 전체에서 얼마나 공통적으로 나타나는지를 보여주며, 단어 자체가 문서군 내에서 자주 사용되는 경우, 그 단어가 흔하게 등장한다는 것을 의미합니다.