使用sklearn实现tfidf特征计算

使用sklearn实现tfidf特征计算

最近在做一些文本方面的工作，记录一下，方便以后查看。

使用sklearn进行tfidf特征提取主要有两种方法：

方法一：

#method1
from sklearn.feature_ import CountVectorizer
from sklearn.feature_ import TfidfTransformertag_list = [	青年 吃货 唱歌	,	少年 游戏 叛逆	,	少年 吃货 足球	]
countVectorizer = CountVectorizer()#若要过滤停用词，可在初始化模型时设置
doc_term_matrix = countVectorizer.fit_transform(tag_list)#得到的doc_term_matrix是一个csr的稀疏矩阵
#doc_term_matrix[doc_term_matrix>0]=1 #将出现次数大于0的token置1
#doc_term_()#将稀疏矩阵转化为稠密矩阵
vocabulary = countVectorizer.vocabulary_#得到词汇表tfidf_transformer = TfidfTransformer()
tfidf_matrix = tfidf_transformer.fit_transform(document_term_matrix)#得到的tfidf同样是一个csr的稀疏矩阵

后来在翻看sklearn的用户手册时，发现了CountVectorizer和TfidfTransformer的结合体，没错，就是TfidfVectorizer！针对TfidfVectorizer，官方给出的说明是：Equivalent to CountVectorizer followed by TfidfTransformer.

于是就有了方法二：

#method2
from sklearn.feature_ import TfidfVectorizer
#若要过滤停用词，可在初始化模型时设置
tfidfVecorizer = TfidfVectorizer(analyzer=lambda x:x.split(	 	))#可自己设置解析方法
tfidf_matrix = tfidfVecorizer.fit_transform(tags_list)
#tfidf_()
term2id_dict = tfidfVecorizer.vocabulary_

同样的结果，TfidfVectorizer就会简洁很多。

对tfidf_matrix的处理：
之前自己总是傻傻的直接tfidf_().tolist()，再一行一行取结果，要知道，当数据量很多时，这个矩阵是很大很大很大的，非常占内存。不过还好自己觉悟的快，后来把代码改成了tfidf_matrix[i].todense().tolist()[0]

tag_list的获取：
1、对文本进行分词，首选jieba分词器；
2、 .join(token_list) 对分出来的token连接成字符串，如 青年 吃货 唱歌
、tag_list.append( 青年 吃货 唱歌 )

如果大家对处理tfidf_matrix还有其他好办法，欢迎留言赐教！