[發明專利]一種精確的語料類別標注方法及裝置

在審

• 申請號: 201310163422.6
• 申請日: 2013-05-07
• 公開（公告）號: CN104142912A
• 公開（公告）日: 2014-11-12
• 發明（設計）人: 李成洲;徐興軍
• 申請（專利權）人: 百度在線網絡技術(北京)有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 袁媛

1.一種精確的語料類別標注方法，包括：

A.將具有初始標注類別的全部語料分為n份，其中1份語料作為校驗語料，其余n-1份語料作為訓練語料，且n為大于1的正整數；

B.提取訓練語料的代表性特征；

C.對訓練語料的代表性特征進行機器學習，以得到分類模型；

D.采用所述分類模型對校驗語料進行分類，得到校驗語料的二次標注類別；

E.對二次標注類別與初始標注類別之間存在差異的校驗語料的類別進行校正；

F.從所述n份語料中選取1份未曾校正的語料作為校驗語料，其余n-1份語料作為訓練語料，返回所述步驟B。

2.根據權利要求1所述的方法，其特征在于，所述方法在所述步驟F后進一步包括：

將校正后的類別作為語料的初始標注類別，并在滿足終止條件前重復執行所述步驟A至所述步驟F。

3.根據權利要求2所述的方法，其特征在于，所述終止條件至少包括以下一種：

所述方法的執行時間達到預設值；或者所述步驟A至所述步驟F的重復執行次數達到預設值；或者當次重復執行時，需要校正的語料在全部語料中所占比例低于預設值。

4.根據權利要求1所述的方法，其特征在于，所述語料為文本語料。

5.根據權利要求1所述的方法，其特征在于，所述步驟B包括：

B1.采用特征選擇算法確定訓練語料的代表性特征；

B2.計算訓練語料的代表性特征對應的權重。

6.一種精確的語料類別標注裝置，包括：

分割單元，用于將具有初始標注類別的全部語料分為n份，其中1份語料作為校驗語料，其余n-1份語料作為訓練語料，且n為大于1的正整數；

特征提取單元，用于提取訓練語料的代表性特征；

訓練單元，用于對訓練語料的代表性特征進行機器學習，以得到分類模型；

分類單元，用于采用所述分類模型對校驗語料進行分類，得到校驗語料的二次標注類別；

校正單元，用于對二次標注類別與初始標注類別之間存在差異的校驗語料的類別進行校正；

語料選取單元，用于從所述n份語料中選取1份未曾校正的語料作為校驗語料，其余n-1份語料作為訓練語料，并觸發所述特征提取單元執行。

7.根據權利要求6所述的裝置，其特征在于，所述裝置進一步還包括：

迭代單元，用于將校正后的類別作為語料的初始標注類別，并在滿足終止條件前觸發所述分割單元至所述語料選取單元重復執行。

8.根據權利要求7所述的裝置，其特征在于，所述終止條件至少包括以下一種：

所述裝置的執行時間達到預設值；或者所述分割單元至所述語料選取單元的重復執行次數達到預設值；或者當次重復執行時，需要校正的語料在全部語料中所占比例低于預設值。

9.根據權利要求6所述的裝置，其特征在于，所述語料為文本語料。

10.根據權利要求6所述的裝置，其特征在于，所述特征提取單元包括：

特征選取單元，用于采用特征選擇算法確定訓練語料的代表性特征；

權重計算單元，用于計算訓練語料的代表性特征對應的權重。