[發明專利]一種精確的語料類別標注方法及裝置

在審

• 申請號: 201310163422.6
• 申請日: 2013-05-07
• 公開（公告）號: CN104142912A
• 公開（公告）日: 2014-11-12
• 發明（設計）人: 李成洲;徐興軍
• 申請（專利權）人: 百度在線網絡技術(北京)有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 袁媛

【技術領域】

本發明涉及數據處理技術，特別涉及一種精確的語料類別標注方法及裝置。

【背景技術】

語料標注類別的準確性是保證利用這些語料訓練得到的分類模型的準確性的關鍵。現有技術中，主要是通過人工的方式進行語料標注的，而人工標注難以避免人的主觀性，由于人受知識結構所限，對不熟悉領域的語料標注常出現錯誤。如“紫蘇提取物的特性及應用”，有的人可能會標注為化學類別，有的人可能會標注為生物類別。

【發明內容】

本發明所要解決的技術問題是提供一種精確的語料類別標注方法及裝置，以提高用于訓練分類模型的語料標注的準確性。

本發明為解決技術問題而采用的技術方案是提供一種精確的語料類別標注方法，包括：A.將具有初始標注類別的全部語料分為n份，其中1份語料作為校驗語料，其余n-1份語料作為訓練語料，且n為大于1的正整數；B.提取訓練語料的代表性特征；C.對訓練語料的代表性特征進行機器學習，以得到分類模型；D.采用所述分類模型對校驗語料進行分類，得到校驗語料的二次標注類別；E.對二次標注類別與初始標注類別之間存在差異的校驗語料的類別進行校正；F.從所述n份語料中選取1份未曾校正的語料作為校驗語料，其余n-1份語料作為訓練語料，返回所述步驟B。

根據本發明之一優選實施例，所述方法在所述步驟F后進一步包括：將校正后的類別作為語料的初始標注類別，并在滿足終止條件前重復執行所述步驟A至所述步驟F。

根據本發明之一優選實施例，所述終止條件至少包括以下一種：所述方法的執行時間達到預設值；或者所述步驟A至所述步驟F的重復執行次數達到預設值；或者當次重復執行時，需要校正的語料在全部語料中所占比例低于預設值。

根據本發明之一優選實施例，所述語料為文本語料。

根據本發明之一優選實施例，所述步驟B包括：B1.采用特征選擇算法確定訓練語料的代表性特征；B2.計算訓練語料的代表性特征對應的權重。

本發明還提供了一種精確的語料類別標注裝置，包括：分割單元，用于將具有初始標注類別的全部語料分為n份，其中1份語料作為校驗語料，其余n-1份語料作為訓練語料，且n為大于1的正整數；特征提取單元，用于提取訓練語料的代表性特征；訓練單元，用于對訓練語料的代表性特征進行機器學習，以得到分類模型；分類單元，用于采用所述分類模型對校驗語料進行分類，得到校驗語料的二次標注類別；校正單元，用于對二次標注類別與初始標注類別之間存在差異的校驗語料的類別進行校正；語料選取單元，用于從所述n份語料中選取1份未曾校正的語料作為校驗語料，其余n-1份語料作為訓練語料，并觸發所述特征提取單元執行。

根據本發明之一優選實施例，所述裝置進一步還包括：迭代單元，用于將校正后的類別作為語料的初始標注類別，并在滿足終止條件前觸發所述分割單元至所述語料選取單元重復執行。

根據本發明之一優選實施例，所述終止條件至少包括以下一種：所述裝置的執行時間達到預設值；或者所述分割單元至所述語料選取單元的重復執行次數達到預設值；或者當次重復執行時，需要校正的語料在全部語料中所占比例低于預設值。

根據本發明之一優選實施例，所述語料為文本語料。

根據本發明之一優選實施例，所述特征提取單元包括：特征選取單元，用于采用特征選擇算法確定訓練語料的代表性特征；權重計算單元，用于計算訓練語料的代表性特征對應的權重。

由以上技術方案可以看出，本發明通過將具有初始標注的全部語料分為若干份，每次選取其中一份作為校驗語料，其余作為訓練語料獲取分類模型，以對校驗語料進行校正，能夠極大地降低語料標注中的錯誤，提高語料標注的準確性。

【附圖說明】

圖1為本發明中精確的語料類別標注方法的實施例的流程示意圖；

圖2為本發明中精確的語料類別標注裝置的實施例一的結構示意框圖；

圖3為本發明中精確的語料類別標注裝置的實施例二的結構示意框圖。

【具體實施方式】

為了使本發明的目的、技術方案和優點更加清楚，下面結合附圖和具體實施例對本發明進行詳細描述。

請參考圖1，圖1為本發明中精確的語料類別標注方法的實施例的流程示意圖。如圖1所示，該實施例包括：

步驟S1：將具有初始標注類別的全部語料分為n份，其中1份語料作為校驗語料，其余n-1份語料作為訓練語料，且n為大于1的正整數。

步驟S2：提取訓練語料的代表性特征。

步驟S3：對訓練語料的代表性特征進行機器學習，以得到分類模型。