[發明專利]生成同義詞對齊詞典的方法及裝置

有效

• 申請號: 201410601632.3
• 申請日: 2014-10-30
• 公開（公告）號: CN104331398B
• 公開（公告）日: 2018-07-13
• 發明（設計）人: 石磊;李朋凱;曾增烽;林英展
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F17/28
• 分類號: G06F17/28
• 代理公司: 北京天健君律專利代理事務所(普通合伙) 11461
• 代理人: 羅延紅;逯博

1.一種生成同義詞對齊詞典的方法，其特征在于，所述方法包括：

根據多個替換詞標注數據樣本及其多個預定特征的特征值生成用于根據所述多個預定特征進行決策的替換決策樹模型，所述替換詞標注數據包括原詞信息、替換詞信息以及用于指示所述替換的優劣的標注標志信息，所述替換決策樹模型中的葉節點表示替換的優劣，每個非葉節點對應于一個所述預定特征，所述非葉節點的每個分支分別表示所述非葉節點對應的預定特征的特征值滿足預定條件和不滿足所述預定條件；

根據所述替換決策樹模型對已有的同義詞對齊詞典進行過濾，生成第一同義詞對齊詞典；

所述方法還包括：對由所述第一同義詞對齊詞典與高置信度同義詞對齊詞典合并后生成的第二同義詞對齊詞典中替換詞條的對齊次數進行統一歸一化，計算所述第二同義詞對齊詞典中替換詞條的替換權值。

2.根據權利要求1所述的方法，其特征在于，所述已有的對齊詞典中的替換詞條信息包括基于統計對齊獲得的原詞、替換詞以及替換統計數據。

3.根據權利要求2所述的方法，其特征在于，所述根據所述替換決策樹模型對已有的對齊詞典進行過濾，生成第一同義詞對齊詞典的處理包括：

根據所述已有的對齊詞典中的替換詞條的替換統計數據，計算所述替換詞條的所述多個預定特征的特征值；

針對所述已有的對齊詞典中的替換詞條，根據所述替換詞條的所述多個預定特征的特征值以及所述替換決策樹模型，刪除被確定為劣的替換詞條，以生成第一同義詞對齊詞典。

4.根據權利要求3所述的方法，其特征在于，所述替換統計數據包括：替換詞條的共現次數信息和對齊次數信息，

所述根據所述已有的對齊詞典中的替換詞條的替換統計數據，計算所述替換詞條的所述多個預定特征的特征值的處理包括：

根據所述已有的對齊詞典中的替換詞條的共現次數信息和對齊次數信息計算所述替換詞條的所述多個預定特征的特征值。

5.根據權利要求1所述的方法，其特征在于，針對所述第二同義詞對齊詞典中每條替換詞條，所述替換詞條的替換權值等于所述替換詞條的對齊次數除以所述第二同義詞對齊詞典中原詞與所述替換詞條的原詞相同的替換詞條中最大的對齊次數。

6.一種生成同義詞對齊詞典的裝置，其特征在于，所述裝置包括：

替換決策樹模型生成單元，用于根據多個替換詞標注數據樣本及其多個預定特征的特征值生成用于根據所述多個預定特征進行決策的替換決策樹模型，所述替換詞標注數據包括原詞信息、替換詞信息以及用于指示所述替換的優劣的標注標志信息，所述替換決策樹模型中的葉節點表示替換的優劣，每個非葉節點對應于一個所述預定特征，所述非葉節點的每個分支分別表示所述非葉節點對應的預定特征的特征值滿足預定條件和不滿足所述預定條件；

詞典過濾單元，用于根據所述替換決策樹模型對已有的同義詞對齊詞典進行過濾，生成第一同義詞對齊詞典；

所述裝置還包括：替換權值獲取單元，用于對通過詞典合并單元將所述第一同義詞對齊詞典與高置信度同義詞對齊詞典合并后生成的第二同義詞對齊詞典中替換詞條的對齊次數進行統一歸一化，計算所述第二同義詞對齊詞典中替換詞條的替換權值。

7.根據權利要求6所述的裝置，其特征在于，所述已有的對齊詞典中的替換詞條信息包括基于統計對齊獲得的原詞、替換詞以及替換統計數據。

8.根據權利要求7所述的裝置，其特征在于，所述詞典過濾單元包括：

特征值計算單元，用于根據所述已有的對齊詞典中的替換詞條的替換統計數據，計算所述替換詞條的所述多個預定特征的特征值；

詞典過濾子單元，用于針對所述已有的對齊詞典中的替換詞條，根據所述替換詞條的所述多個預定特征的特征值以及所述替換決策樹模型，刪除被確定為劣的替換詞條，以生成第一同義詞對齊詞典。