[發明專利]一種詞形還原方法及裝置

有效

• 申請號: 201210075356.2
• 申請日: 2012-03-21
• 公開（公告）號: CN103324608A
• 公開（公告）日: 2013-09-25
• 發明（設計）人: 何徑舟;王曉露
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 袁媛

1.一種詞形還原方法，其特征在于，包括：

對待還原詞條進行詞根還原，獲取詞根還原算法各步驟的輸出結果加入還原候選集合；

對于每個還原候選，分別計算該還原候選相對于所述待還原詞條的還原概率；

根據還原概率的大小，確定所述待還原詞條的詞形還原結果。

2.根據權利要求1所述的方法，其特征在于，在對待還原詞條進行詞根還原之前，還包括：

利用預置的免還原詞表對所述待還原詞條進行過濾，

若所述待還原詞條在所述免還原詞表中，則停止后續步驟。

3.根據權利要求1所述的方法，其特征在于，在對待還原詞條進行詞根還原之前，還包括：

利用預置的不規則詞表對所述待還原詞條進行過濾，

若所述待還原詞條在所述不規則詞表中，則根據所述不規則詞表，將所述待還原詞條的原型加入還原候選集合。

4.根據權利要求1所述的方法，其特征在于，在計算原候選相對于待還原詞條的還原概率之前，還包括：

對還原候選進行過濾，去除不合理的還原候選。

5.根據權利要求4所述的方法，其特征在于，所述對還原候選進行過濾，包括：

判斷還原候選是否屬于預置的詞干白名單，如果否，則去除該還原候選。

6.根據權利要求4所述的方法，其特征在于，所述對還原候選進行過濾，包括：

比較待還原詞條與還原候選的差異部分，判斷該差異部分是否屬于預置的詞綴黑名單，如果是，則去除該還原候選。

7.根據權利要求1至6任一項所述的方法，其特征在于，在存在多個詞形還原結果的情況下，還包括：

統計每個詞形還原結果的還原概率、以及該詞形還原結果與待還原詞條上下文內容的語言模型共現概率；

對于每個詞形還原結果，計算其靜態還原概率與共現概率的乘積；

選擇乘積最大的詞形還原結果作為最終輸出的詞形還原結果。

8.一種詞形還原裝置，其特征在于，包括：

詞根還原單元，用于對待還原詞條進行詞根還原，獲取詞根還原算法各步驟的輸出結果加入還原候選集合；

還原概率計算單元，用于對于每個還原候選，分別計算該還原候選相對于所述待還原詞條的還原概率；

結果確定單元，用于根據還原概率的大小，確定所述待還原詞條的詞形還原結果。

9.根據權利要求8所述的裝置，其特征在于，還包括：

第一過濾單元，用于在所述詞根還原單元對待還原詞條進行詞根還原之前，利用預置的免還原詞表對所述待還原詞條進行過濾，若所述待還原詞條在所述免還原詞表中，則所述詞根還原單元停止后續步驟。

10.根據權利要求8所述的裝置，其特征在于，還包括：

第二過濾單元，用于在所述詞根還原單元對待還原詞條進行詞根還原之前，利用預置的不規則詞表對所述待還原詞條進行過濾，若所述待還原詞條在所述不規則詞表中，則根據所述不規則詞表，將所述待還原詞條的原型加入還原候選集合。

11.根據權利要求8所述的裝置，其特征在于，還包括：

第三過濾單元，用于在計算原候選相對于待還原詞條的還原概率之前，對還原候選進行過濾，去除不合理的還原候選。

12.根據權利要求11所述的裝置，其特征在于，所述第三過濾單元，具體用于：

判斷還原候選是否屬于預置的詞干白名單，如果否，則去除該還原候選。

13.根據權利要求11所述的裝置，其特征在于，所述第三過濾單元，具體用于：

比較待還原詞條與還原候選的差異部分，判斷該差異部分是否屬于預置的詞綴黑名單，如果是，則去除該還原候選。

14.根據權利要求8至13任一項所述的裝置，其特征在于，還包括動態選擇單元，用于在存在多個詞形還原結果的情況下，統計每個詞形還原結果的還原概率、以及該詞形還原結果與待還原詞條上下文內容的語言模型共現概率；對于每個詞形還原結果，計算其靜態還原概率與共現概率的乘積；選擇乘積最大的詞形還原結果作為最終輸出的詞形還原結果。