[發(fā)明專利]關(guān)鍵詞提取方法及裝置

在審

• 申請?zhí)枺?/td>: 201510874564.2
• 申請日: 2015-12-02
• 公開（公告）號: CN105426361A
• 公開（公告）日: 2016-03-23
• 發(fā)明（設(shè)計）人: 張昊;朱頻頻
• 申請（專利權(quán)）人: 上海智臻智能網(wǎng)絡(luò)科技股份有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 工業(yè)和信息化部電子專利中心 11010
• 代理人: 秦瑩

1.一種關(guān)鍵詞提取方法，其特征在于，包括：

提供一領(lǐng)域內(nèi)的語料數(shù)據(jù)，所述語料數(shù)據(jù)包括多個文檔；

對所述語料數(shù)據(jù)進行預處理，得到文本數(shù)據(jù)；

對所述文本數(shù)據(jù)進行分詞處理，得到多個語料詞語；

對所述語料詞語進行過濾處理，得到多個候選詞；

為每個所述候選詞設(shè)置初始權(quán)重值；

根據(jù)候選詞在每個文檔中的共現(xiàn)關(guān)系調(diào)整所述候選詞的初始權(quán)重值，得到候選詞在每個文檔中的最終權(quán)重值；

根據(jù)所述最終權(quán)重值確定每個文檔的關(guān)鍵詞。

2.如權(quán)利要求1所述的關(guān)鍵詞提取方法，其特征在于，所述預處理包括：將語料數(shù)據(jù)的格式統(tǒng)一為文本格式，過濾臟詞、敏感詞和停用詞中的一種或多種，并將過濾后的文本數(shù)據(jù)按照標點劃分為多行。

3.如權(quán)利要求1所述的關(guān)鍵詞提取方法，其特征在于，所述分詞處理采用字典雙向最大匹配法、viterbi方法、HMM方法和CRF方法中的一種或多種。

4.如權(quán)利要求1所述的關(guān)鍵詞提取方法，其特征在于，所述過濾處理采用以下任一種或兩種方式：

根據(jù)詞性對所述語料詞語進行過濾，保留名詞、動詞以及形容詞；

根據(jù)頻次對所述語料詞語進行過濾，保留頻次大于頻次閾值的語料詞語。

5.如權(quán)利要求1所述的關(guān)鍵詞提取方法，其特征在于，所述初始權(quán)重值通過以下方式進行設(shè)置；

當候選詞在標題中出現(xiàn)過時，根據(jù)計算候選詞的初始權(quán)重值；

否則，根據(jù)計算候選詞的初始權(quán)重值；

其中：w_i表示初始權(quán)重值，n_i表示候選詞出現(xiàn)的文檔次數(shù)，N表示語料的所有文檔數(shù)；m為大于1的系數(shù)。

6.如權(quán)利要求5所述的關(guān)鍵詞提取方法，其特征在于，所述1.5≤m≤2。

7.如權(quán)利要求1所述的關(guān)鍵詞提取方法，其特征在于，根據(jù)候選詞在每個文檔中的共現(xiàn)關(guān)系調(diào)整所述候選詞的初始權(quán)重值，得到候選詞在每個文檔中的最終權(quán)重值具體包括：

設(shè)置預定大小的滑動窗口，將所述滑動窗口在當前文檔中進行動態(tài)滑動；

獲取所述滑動窗口中出現(xiàn)的2個以上的候選詞，將所述2個以上的候選詞之間添加互相指向的2個連接，并將每個候選詞作為一個節(jié)點，構(gòu)建當前文檔的關(guān)聯(lián)有向圖；

根據(jù)所述初始權(quán)重值，迭代計算所述關(guān)聯(lián)有向圖中各個節(jié)點的權(quán)重值，直到當前節(jié)點的相鄰兩次權(quán)重值之差小于第二閾值或達到迭代次數(shù)后停止迭代計算，并將最后一次計算的權(quán)重值作為相應節(jié)點的最終權(quán)重值。