[發明專利]一種詞關系挖掘方法和裝置

有效

• 申請號: 201010003423.0
• 申請日: 2010-01-13
• 公開（公告）號: CN102129427A
• 公開（公告）日: 2011-07-20
• 發明（設計）人: 田國剛;賈自艷
• 申請（專利權）人: 騰訊科技(深圳)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 何文彬

1.一種詞關系挖掘方法，其特征在于，所述方法包括：

獲取兩個詞條之間的候選關系、所述候選關系的頻度以及所述詞條的詞頻；

根據所述候選關系、所述頻度及所述詞頻獲取互信息的統計值和對數似然比的統計值；

根據所述互信息的統計值和所述對數似然比的統計值獲取可信度歸一值；

根據所述可信度歸一值進行排序，將符合預設閾值的候選關系作為詞關系輸出。

2.如權利要求1所述的方法，其特征在于，所述獲取兩個詞條之間的候選關系、所述候選關系的頻度以及所述詞條的詞頻，具體包括：

對語料庫中的每一個問答文檔的標題和答案分別進行分詞處理，獲取標題詞條集合和答案詞條集合；

將所述標題詞條集合中的標題詞條與答案詞條集合中的答案詞條進行詞條間的配對，若兩個詞條不同，則配對成功，獲取兩個詞條之間的候選關系；

在語料庫中所有的問答文檔中以標題詞條和所述標題詞條相應的答案詞條為單位查找所述候選關系，將所述候選關系出現的次數作為所述候選關系的頻度；

在所述語料庫中所有的問答文檔的標題中查找所述標題詞條，將所述標題詞條出現的次數作為所述標題詞條的詞頻；

在所述語料庫中所有的問答文檔的答案中查找所述答案詞條，將所述答案詞條出現的次數作為所述答案詞條的詞頻。

3.如權利要求2所述的方法，其特征在于，所述對語料庫中的每一個問答文檔的標題和答案分別進行分詞處理，獲取標題詞條集合和答案詞條集合的步驟之后，所述方法還包括：

對所述標題詞條集合和所述答案詞條集合中的詞條進行過濾，分別獲取過濾后的所述標題詞條集合和所述答案詞條集合。

4.如權利要求1所述的方法，其特征在于，所述獲取兩個詞條之間的候選關系、所述候選關系的頻度以及所述詞條的詞頻，具體包括：

對語料庫中的每一個文檔的每一個句子進行分詞處理，獲取詞條集合；

將所述詞條集合中的詞條進行配對，若兩個詞條不同，則配對成功，獲取兩個詞條之間的候選關系；

在語料庫的所有文檔中以句子為單位查找所述候選關系，將所述候選關系出現的次數作為所述候選關系的頻度；

在所述語料庫的所有文檔中查找所述詞條，將所述詞條出現的次數作為所述詞條的詞頻。

5.如權利要求4所述的方法，其特征在于，所述對語料庫中的每一個文檔的每一個句子進行分詞處理，獲取詞條集合的步驟之后，所述方法還包括：

對所述詞條集合中的詞條進行過濾，獲取過濾后的詞條集合。

6.如權利要求1所述的方法，其特征在于，根據所述互信息的統計值和所述對數似然比的統計值獲取可信度歸一值，具體包括：

根據所述互信息的統計值和所述對數似然比的統計值獲取可信度值；

通過獲取到的所述可信度值獲取可信度歸一值。

7.一種詞關系挖掘裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取兩個詞條之間的候選關系、所述候選關系的頻度以及所述詞條的詞頻；

第二獲取模塊，用于根據所述候選關系、所述頻度及所述詞頻獲取互信息的統計值和對數似然比的統計值；

第三獲取模塊，用于根據所述互信息的統計值和所述對數似然比的統計值獲取可信度歸一值；

輸出模塊，用于根據所述可信度歸一值進行排序，將符合預設閾值的候選關系作為詞關系輸出。

8.如權利要求7所述的裝置，其特征在于，所述第一獲取模塊，具體包括：

第一獲取單元，用于對語料庫中的每一個問答文檔的標題和答案分別進行分詞處理，獲取標題詞條集合和答案詞條集合；

第二獲取單元，用于將所述標題詞條集合中的標題詞條與答案詞條集合中的答案詞條進行詞條間的配對，若兩個詞條不同，則配對成功，獲取兩個詞條之間的候選關系；

第一查找單元，用于在語料庫中所有的問答文檔中以標題詞條和所述標題詞條相應的答案詞條為單位查找所述候選關系，將所述候選關系出現的次數作為所述候選關系的頻度；

第二查找單元，用于在所述語料庫中所有的問答文檔的標題中查找所述標題詞條，將所述標題詞條出現的次數作為所述標題詞條的詞頻；

第三查找單元，用于在所述語料庫中所有的問答文檔的答案中查找所述答案詞條，將所述答案詞條出現的次數作為所述答案詞條的詞頻。