[發(fā)明專利]一種關(guān)鍵詞提取方法、提取裝置、介質(zhì)和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 201711183233.X
• 申請日: 2017-11-23
• 公開（公告）號: CN108009149A
• 公開（公告）日: 2018-05-08
• 發(fā)明（設(shè)計(jì)）人: 劉嘉偉;崔朝輝;趙立軍;張霞
• 申請（專利權(quán)）人: 東軟集團(tuán)股份有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京工信聯(lián)合知識產(chǎn)權(quán)代理有限公司 11266
• 代理人: 郭一斐;葉萬東

1.一種關(guān)鍵詞提取方法，其特征在于，包括如下步驟：

步驟S110，從待分析文本中獲取中心詞；

步驟S120，根據(jù)預(yù)設(shè)的滑動窗口大小建立模型，獲取所述中心詞在所述待分析文本中的上下文詞；

步驟S130，所述上下文詞構(gòu)成一個(gè)Huffman樹的葉節(jié)點(diǎn)，獲取每個(gè)上下文詞的Huffman編碼；

步驟S140，計(jì)算所述每個(gè)上下文詞在Huffman樹中的概率；

步驟S150，將所述中心詞的每個(gè)上下文詞的概率相乘，得到所述中心詞的關(guān)鍵詞權(quán)重；

步驟S160，遍歷所述待分析文本中的每個(gè)詞作為中心詞，執(zhí)行所述步驟

S110-S150，分別獲取各個(gè)中心詞的關(guān)鍵詞權(quán)重；

步驟S170，

將關(guān)鍵詞權(quán)重超過閾值的中心詞確定為要提取的關(guān)鍵詞。

2.根據(jù)權(quán)利要求1所述的一種關(guān)鍵詞提取方法，其特征在于：所述步驟S110之前還包括：從語料中利用Word2Vec技術(shù)訓(xùn)練詞向量。

3.根據(jù)權(quán)利要求1所述的一種關(guān)鍵詞提取方法，其特征在于：所述步驟S120還包括，根據(jù)業(yè)務(wù)需求調(diào)整所述滑動窗口的大小。

4.根據(jù)權(quán)利要求1所述的一種關(guān)鍵詞提取方法，其特征在于：所述步驟S140之前，還包括獲取所述從語料中利用Word2Vec技術(shù)訓(xùn)練后的中心詞的詞向量。

5.根據(jù)權(quán)利要求1或4所述的一種關(guān)鍵詞提取方法，其特征在于：所述步驟S140中，計(jì)算一個(gè)上下文詞在Huffman樹中的概率具體包括：

確定所述Huffman樹中從根節(jié)點(diǎn)到要計(jì)算概率的該上下文詞所經(jīng)歷的路徑中的所有節(jié)點(diǎn)；

逐個(gè)計(jì)算所述路徑中的節(jié)點(diǎn)的概率；

將所述路徑中的所有節(jié)點(diǎn)的概率相乘得到該上下文詞在Huffman樹中的概率。

6.根據(jù)權(quán)利要求5所述的一種關(guān)鍵詞提取方法，其特征在于：所述逐個(gè)計(jì)算路徑中的節(jié)點(diǎn)的概率步驟，具體包括：一個(gè)節(jié)點(diǎn)的概率算法為，該節(jié)點(diǎn)的父節(jié)點(diǎn)向量的轉(zhuǎn)置與所述中心詞的詞向量求點(diǎn)積，如果該節(jié)點(diǎn)為左節(jié)點(diǎn)，其概率為所述點(diǎn)積的sigmoid函數(shù)，如果該節(jié)點(diǎn)為右節(jié)點(diǎn)，其概率為1減去其對應(yīng)的所述左節(jié)點(diǎn)的概率；或者，如果該節(jié)點(diǎn)為右節(jié)點(diǎn)，其概率為所述點(diǎn)積的sigmoid函數(shù)，如果該節(jié)點(diǎn)為左節(jié)點(diǎn)，其概率為1減去其對應(yīng)的所述右節(jié)點(diǎn)的概率。

7.一種關(guān)鍵詞提取裝置，具體包括如下模塊：

獲取模塊，用于從待分析文本中獲取中心詞，以及根據(jù)預(yù)設(shè)的滑動窗口大小獲取所述中心詞在所述待分析文本中的上下文詞；

計(jì)算模塊，用于將所述上下文詞構(gòu)成一個(gè)Huffman樹的葉節(jié)點(diǎn)，計(jì)算所述中心詞的詞向量，和/或根據(jù)所述每個(gè)上下文詞的Huffman編碼，計(jì)算所述每個(gè)上下文詞在Huffman樹中的概率；

權(quán)重模塊，用于將所述中心詞的每個(gè)上下文詞的概率相乘，得到所述中心詞的關(guān)鍵詞權(quán)重；

遍歷模塊，用于遍歷待分析文本中的每個(gè)詞作為中心詞，執(zhí)行步驟S110-S140，分別獲取各個(gè)中心詞的關(guān)鍵詞權(quán)重；

輸出模塊，用于將關(guān)鍵詞權(quán)重超過閾值的中心詞確定為要提取的關(guān)鍵詞。

8.根據(jù)權(quán)利要求7所述的一種關(guān)鍵詞提取裝置，其特征在于：

所述計(jì)算模塊具體用于：確定Huffman樹中從根節(jié)點(diǎn)到要計(jì)算概率的上下文詞所經(jīng)歷的路徑中的所有節(jié)點(diǎn)；逐個(gè)計(jì)算路徑中的節(jié)點(diǎn)的概率；將所述路徑中的所有節(jié)點(diǎn)的概率相乘得到所述上下文詞在Huffman樹中的概率。

9.根據(jù)權(quán)利要求7所述的一種關(guān)鍵詞提取裝置，其特征在于：

所述計(jì)算模塊具體用于：一個(gè)節(jié)點(diǎn)的概率算法為，該節(jié)點(diǎn)的父節(jié)點(diǎn)向量的轉(zhuǎn)置與所述中心詞的詞向量求點(diǎn)積，如果該節(jié)點(diǎn)為左節(jié)點(diǎn)，其概率為所述點(diǎn)積的sigmoid函數(shù)，如果該節(jié)點(diǎn)為右節(jié)點(diǎn)，其概率為1減去其對應(yīng)的所述左節(jié)點(diǎn)的概率；或者，如果該節(jié)點(diǎn)為右節(jié)點(diǎn)，其概率為所述點(diǎn)積的sigmoid函數(shù)，如果該節(jié)點(diǎn)為左節(jié)點(diǎn)，其概率為1減去其對應(yīng)的所述右節(jié)點(diǎn)的概率。

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-6中任一項(xiàng)所述方法的步驟。