（1）基於統計的關鍵詞提取方法
該方法根據統計信息，如詞頻，來計算得到文檔中詞語的權重，按權重值排序提取關鍵詞。TF-IDF和TextRank均屬於此類方法，其中TF-IDF方法通過計算單文本詞頻（Term Frequency， TF）和逆文本頻率指數（Inverse Document Frequency， IDF）得到詞語權重；TextRank方法基於PageRank的思想，通過詞語共現窗口構建共現網絡，計算詞語得分。此類方法簡單易行，適用性較強，然而未考慮詞序問題。
（2）基於機器學習的關鍵詞提取方法
該方法包括了SVM、樸素貝葉斯等有監督學習方法，以及K-means、層次聚類等無監督學習方法。在此類方法中，模型的好壞取決於特徵提取，而深度學習正是特徵提取的一種有效方式。由Google推出的Word2Vec詞向量模型，是自然語言領域中具有代表性的學習工具。它在訓練語言模型的過程中將詞典映射到一個更抽象的向量空間中，每一個詞語通過高維向量表示，該向量空間中兩點之間的距離就對應兩個詞語的相似程度。

1)加載已有的文檔數據集。
2)加載停用詞表。
3)對數據集中的文檔進行分詞。
4)根據停用詞表，過濾干擾詞。
5)根據數據集訓練算法。

1)對新文檔進行分詞。
2)根據停用詞表，過濾干擾詞。
3)根據訓練好的算法提取關鍵詞。

（1）Jieba
目前使用最為廣泛的中文分詞組件。下載地址：https://pypi.python.org/pypi/jieba/
（2）Gensim
用於主題模型、文檔索引和大型語料相似度索引的python庫，主要用於自然語言處理（NLP）和信息檢索（IR）。下載地址：https://pypi.python.org/pypi/gensim
本實例中的維基中文語料處理和中文詞向量模型構建需要用到該模塊。
（3）Pandas
用於高效處理大型數據集、執行數據分析任務的python庫，是基於Numpy的工具包。下載地址：https://pypi.python.org/pypi/pandas/0.20.1
（4）Numpy
用於存儲和處理大型矩陣的工具包。下載地址：https://pypi.python.org/pypi/numpy
（5）Scikit-learn
用於機器學習的python工具包，python模塊引用名字為sklearn，安裝前還需要Numpy和Scipy兩個Python庫。官網地址：http://scikit-learn.org/stable/ 本實例中主要用到了該模塊中的feature_extraction、KMeans（k-means聚類算法）和PCA（pac降維算法）。
（6）Matplotlib
Matplotlib是一個python的圖形框架，用於繪製二維圖形。下載地址：https://pypi.python.org/pypi/matplotlib

!pip install numpy==1.21.6
!pip install scikit-learn==1.0.2
!pip install jieba==0.42.1
!pip install pandas==1.3.5
!pip install matplotlib==3.5.2
!pip install wordcloud==1.8.1
import sys,codecs
import pandas as pd
import numpy as np
import jieba.posseg
import jieba.analyse
from sklearn import feature_extraction
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction.text import CountVectorizer

dataFile = './data/sportss.csv'
data = pd.read_csv(dataFile)
data
運行以下代碼查看數據集中第一行摘要字段
data['abstract'][0] #查看第一個摘要

['新浪\n', '北京\n', '時間\n', '微博\n']

with open("./data/stopWord.txt",encoding="utf-8") as f:
print(f.readlines()[:4])

TF-IDF權重：
       1、CountVectorizer 構建詞頻矩陣
       2、TfidfTransformer 構建tfidf權值計算
       3、文本的關鍵字
       4、對應的tfidf矩陣

def dataPrepos(text,stopkey):
l = []
pos = ["n", "ns", "v", "d", "vn", "l", "a", "ad"]
jieba.add_word("微博")
seg = jieba.posseg.cut(text)
for i in seg:
if i.word not in stopkey and i.flag in pos:
l.append(i.word)
return l

['湖人', '首發', '帶傷', '戰', '戰', '體育訊', '時間', '湖人', '主場', '迎戰', '比賽', '雙方', '戰成', '平', '本場', '比賽', '球隊', '重要', '雙方', '公佈', '首發', '陣容', '黃蜂隊', '扎', '官方', '湖人', '新聞動態', '專題', '湖人', '圖文', '直播室', '體育']

text = """黃蜂vs湖人首發：科比帶傷戰保羅 加索爾救贖之戰 新浪體育訊北京時間4月27日，
NBA季後賽首輪洛杉磯湖人主場迎戰新奧爾良黃蜂，此前的比賽中，雙方戰成2-2平，
因此本場比賽對於兩支球隊來説都非常重要，賽前雙方也公佈了首發陣容：
湖人隊：費舍爾、科比、阿泰斯特、加索爾、拜納姆黃蜂隊：保羅、貝里內利、阿里扎、蘭德里、奧卡福
[新浪NBA官方微博][新浪NBA湖人新聞動態微博][新浪NBA專題][黃蜂vs湖人圖文直播室](新浪體育)"""
stopkey = [w.strip() for w in codecs.open('./data/stopWord.txt', 'r', 'utf8').readlines()]
text = dataPrepos(text, stopkey)
print(text)

def getCorpus(data,stopkey):
idList = data.id
titleList =data.title
abstractList = data.abstract
corpus = []
for index in range(len(idList)):
text = ".".join([titleList[index], abstractList[index]])
text = dataPrepos(text,stopkey)
text = " ".join(text)
corpus.append(text)
return idList,titleList,abstractList,corpus

stopkey = [w.strip() for w in codecs.open('./data/stopWord.txt', 'r', 'utf8').readlines()]
idList, titleList, abstractList, corpus = getCorpus(data,stopkey)
print(corpus)

CountVectorizer(input='content', encoding='utf-8',  decode_error='strict', strip_accents=None, lowercase=True, preprocessor=None, tokenizer=None, stop_words=None, token_pattern='(?u)\b\w\w+\b', ngram_range=(1, 1), analyzer='word', max_df=1.0, min_df=1, max_features=None, vocabulary=None, binary=False, dtype=)

#在這裏手敲上面代碼並填補缺失代碼
#tf-idf獲取文本top10關鍵詞
idList,titlelist,abstractList, corpus = getCorpus(data, stopkey)
# 1、構建詞頻矩陣，遊文本中的詞語轉換成詞頻矩陣
vectorizer = CountVectorizer(decode_error="replace")
X = vectorizer.fit_transform(corpus) # 河頻矩陣,a[i][j]表示i在個文本中的詞頻
# 2、統計每個詞的tf-idf值
transformer = TfidfTransformer()
tfidf = transformer.fit_transform(X)
# 3、獲取詞袋模型中的關鏈詞
word = vectorizer.get_feature_names()
# 4、獲tf-idf矩陣，a[i]l]表示i詞在篇文本中的f-idf灰重
weight = tfidf.toarray()
# 打印並保存結果
def getKeywords_tfidf(idList, titleList, abstractList, weight):
ids, titles, keys = [], [], []
for i in range(len(weight)):
print (u"-------這裏輸出第", i+1 , u"篇文本的前 10 詞語tf-idf------")
ids.append(idList[i])
titles.append(titleList[i])
df_word,df_weight = [],[] # 當前文章的所有詞彙列表、詞彙對應權重列表
for j in range(len(word)):
df_word.append(word[j])
df_weight.append(weight[i][j])
df_word = pd.DataFrame(df_word,columns=['word'])
df_weight = pd.DataFrame(df_weight,columns=['weight'])
word_weight = pd.concat([df_word, df_weight], axis=1) # 拼接詞彙列表和權重列表
word_weight = word_weight.sort_values(by="weight",ascending = False) # 按照權重值降序排列
keyword = np.array(word_weight['word']) # 選擇詞彙列並轉成數組格式
word_split = [keyword[x] for x in range(0,10)] # 抽取前10個詞彙作為關鍵詞
print(word_weight[:10])
word_split = " ".join(word_split)
keys.append(word_split)
result = pd.DataFrame({"id": ids, "title": titles, "key": keys},columns=['id','title','key'])
return result

result = getKeywords_tfidf(idList, titleList, abstractList, weight)
result.to_csv("result/keys_TFIDF.csv",index=False, encoding= "utf-8-sig")

import pickle
feature_path = 'models/feature.pkl'
with open(feature_path, 'wb') as fw:
pickle.dump(vectorizer.vocabulary_, fw)

#在這裏手敲上面代碼並填補缺失代碼
# 保存transformer
tfidftransformer_path = 'models/tfidftransformer.pkl'
with open(tfidftransformer_path, 'wb') as f:
pickle.dump(transformer, f)
# 加載特徵
feature_path = 'models/feature.pkl'
loaded_vec = CountVectorizer(decode_error="replace", vocabulary=pickle.load(open(feature_path, "rb")))
# 加TfidfTransformer
tfidftransformer_path = 'models/tfidftransformer.pkl'
tfidftransformer = pickle.load(open(tfidftransformer_path, 'rb'))
#測過用transform，表示測這數據，為List
test_data = ["這是一個測試文本"]
X_test = loaded_vec.transform(test_data)
test_tfidf = tfidftransformer.transform(X_test)
# 獲tf-idf矩陣，a[i][]表示j詞在篇文本中的tf-idf灰重
weight = test_tfidf.toarray()

testresult = getKeywords_tfidf(idList, titleList, abstractList, weight)
testresult.to_csv("result/testkeys_TFIDF.csv",index=False, encoding= "utf-8-sig")

jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v'))

string：待處理語句
topK：關鍵字的個數，默認20
withWeight：是否返回權重值，默認false
allowPOS：是否僅返回指定類型，默認為空

text = """
黃蜂vs湖人首發：科比帶傷戰保羅 加索爾救贖之戰 新浪體育訊北京時間4月27日，
NBA季後賽首輪洛杉磯湖人主場迎戰新奧爾良黃蜂，此前的比賽中，雙方戰成2-2平，
因此本場比賽對於兩支球隊來説都非常重要，賽前雙方也公佈了首發陣容：
湖人隊：費舍爾、科比、阿泰斯特、加索爾、拜納姆黃蜂隊：保羅、貝里內利、阿里扎、蘭德里、奧卡福
[新浪NBA官方微博][新浪NBA湖人新聞動態微博][新浪NBA專題][黃蜂vs湖人圖文直播室](新浪體育)
"""
jieba.analyse.textrank(text, topK=10, withWeight= True, allowPOS=('ns', 'n', 'vn', 'v'))

import sys
import pandas as pd
import jieba.analyse
# 處理標題和摘要，提取關鍵詞
def getKeywords_textrank(data, topk):
idList, titleList, abstractList = data['id'], data['title'], data['abstract']
ids, titles, keys = [], [], []
for index in range(len(idList)):
text = '%s。%s' % (titleList[index], abstractList[index])
# 加載自定義停用詞表
jieba.analyse.set_stop_words('./data/stopWord.txt')
print(titleList[index], " 10 Keywords - TextRank :")
keywords = jieba.analyse.textrank(text, topK=topk, allowPOS=('n', 'nz', 'v', 'vd', 'vn', 'l', 'a', 'd'), withWeight=False)
word_split = " ".join(keywords)
print(word_split)
keys.append(word_split)
ids.append(idList[index])
titles.append(titleList[index])
result = pd.DataFrame({"id": ids, "title": titles, "key": keys}, columns=['id', 'title', 'key'])
return result

result = getKeywords_textrank(data,10)
result.to_csv("result/keys_TR.csv",index=False, encoding= "utf-8-sig")

import matplotlib.pyplot as plt
%matplotlib inline
import matplotlib
import pandas as pd
from wordcloud import WordCloud # 詞雲包

filepath = "./result/keys_TR.csv"
text = pd.read_csv(filepath)
wc_text = ""
for l in text["key"]:
wc_text += str(l+" ")
wc_text

matplotlib.rcParams['figure.figsize'] = (10.0,6.0)
# wc = WordCloud(font_path=font_path).generate(text)
wc = wordcloud.WordCloud(font_path='./data/simhei.ttf',background_color='white',max_font_size=80).generate(wc_text) # 加載詞雲文本
plt.imshow(wc, interpolation='bilinear')# 用plt顯示圖片
plt.axis("off")  # 不顯示座標軸
plt.show() # 顯示圖片

#在這裏手敲上面代碼並填補缺失代碼
import numpy as np
from PIL import Image
# 讀取顯示的詞文件
filepath = './result/keys_TFIDF.csv'
text = pd.read_csv(filepath)
WC_text = ""
for l in text["key"]:
wc_text += str(l+" ")# 讀取蒙版圖像
heart_mask = np.array(Image.open("./data/heart.png"))
#創建詞雲對象
wc = WordCloud(font_path="./data/simhei.ttf",background_color='white',max_font_size=80,mask=heart_mask)
#生成詞雲
wc.generate(wc_text)
# 展示圖緣
plt.imshow(wc,interpolation='bilinear')# 用lt顯不圖片
plt.axis("off") # 不顯示華標熱
plt.show() # 顯示圖片