如何通过scikit-learn TfidfVectorizer计算TF-IDF

Question

我运行以下代码将文本矩阵转换为TF-IDF矩阵。

text = ['This is a string','This is another string','TFIDF computation calculation','TfIDF is the product of TF and IDF']

from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(max_df=1.0, min_df=1, stop_words='english',norm = None)

X = vectorizer.fit_transform(text)
X_vovab = vectorizer.get_feature_names()
X_mat = X.todense()
X_idf = vectorizer.idf_

我得到以下输出

X_vovab =

[u'calculation',
 u'computation',
 u'idf',
 u'product',
 u'string',
 u'tf',
 u'tfidf']

和X_mat =

  ([[ 0.        ,  0.        ,  0.        ,  0.        ,  1.51082562,
      0.        ,  0.        ],
    [ 0.        ,  0.        ,  0.        ,  0.        ,  1.51082562,
      0.        ,  0.        ],
    [ 1.91629073,  1.91629073,  0.        ,  0.        ,  0.        ,
      0.        ,  1.51082562],
    [ 0.        ,  0.        ,  1.91629073,  1.91629073,  0.        ,
      1.91629073,  1.51082562]])

现在我不明白这些分数是如何计算的。我的想法是，对于文本[0]，仅计算“字符串”的得分，并且在第5列中有得分。但由于TF_IDF是项频率为2的乘积，而log（4/2）的IDF是1.39而不是1.51，如矩阵所示。如何在scikit-learn中计算TF-IDF分数。

Answer 1

TF-IDF由Scikit Learn的TfidfVectorizer分多步完成，它实际上使用TfidfTransformer并继承CountVectorizer。

让我总结一下它所做的步骤，使其更直接：

1. tfs由CountVectorizer的fit_transform（）计算
2. idf由TfidfTransformer的fit（）计算
3. tfidf由TfidfTransformer的transform（）计算

您可以查看源代码here。

回到你的例子。以下是对第5个词汇表（第1个文档（X_mat [0,4]）的tfidf权重进行的计算：

首先，第一个文档中的'string'的tf：

tf = 1

第二，'string'的idf，启用平滑（默认行为）：

df = 2
N = 4
idf = ln(N + 1 / df + 1) + 1 = ln (5 / 3) + 1 = 1.5108256238

最后，（文档0，功能4）的tfidf权重：

tfidf(0,4) = tf * idf = 1 * 1.5108256238 = 1.5108256238

我注意到你选择不规范化tfidf矩阵。请记住，对tfidf矩阵进行归一化是一种常见且通常推荐的方法，因为大多数模型都需要对特征矩阵（或设计矩阵）进行归一化。

默认情况下，TfidfVectorizer将L-2标准化输出矩阵，作为计算的最后一步。将其标准化意味着它只有0到1之间的权重。

Answer 2

精确的计算公式在docs中给出：

用于tf-idf的实际公式是tf *（idf + 1）= tf + tf * idf，而不是tf * idf

和

通过在文档频率中添加一个来平滑idf权重，就好像看到一个额外的文档只包含集合中的每个术语一次。

这意味着1.51082562是以1.51082562=1+ln((4+1)/(2+1))获得的

Answer 3

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer
from collections import Counter
corpus = [
     'This is the first document.',
     'This document is the second document.',
     'And this is the third one.',
     'Is this the first document?',
 ]
print(corpus)
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)
print(vectorizer.get_feature_names())

z=X.toarray()
#term frequency is printed
print(z)

vectorizer1 = TfidfVectorizer(min_df=1)
X1 = vectorizer1.fit_transform(corpus)
idf = vectorizer1.idf_
print (dict(zip(vectorizer1.get_feature_names(), idf)))
#printing idf
print(X1.toarray())
#printing tfidf

#formula 
# df = 2
# N = 4
# idf = ln(N + 1 / df + 1) + 1 = log (5 / 3) + 1 = 1.5108256238

#formula
# tfidf(0,4) = tf * idf = 1 * 1.5108256238 = 1.5108256238