[發明專利]一種數據標注方法、裝置、存儲介質及計算機設備

在審

• 申請號: 202010713841.2
• 申請日: 2020-07-22
• 公開（公告）號: CN112036166A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 劉一鵬
• 申請（專利權）人: 大箴（杭州）科技有限公司
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06K9/62;G06N20/00
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威;賈依嬌

本發明公開了一種數據標注方法、裝置、存儲介質及計算機設備，涉及自然語言處理技術領域，主要目的在于解決現有技術中通過人工對數據進行一次性標注，降低標注效率和準確性，浪費人力資源的問題。方法包括：獲取預先定義的多個一級標簽以及與所述一級標簽相對應的多個二級標簽；利用獲取的第一樣本數據訓練第一標注模型，對當前還未標注一級標簽的待標注數據進行標注，得到第一標注數據；依據各目標對象標注數量最多的一級標簽，將選取的部分第一標注數據配置給相應的目標對象進行二級標簽的標注，得到第二樣本數據；利用第二樣本數據訓練第二標注模型，對當前還未標注二級標簽的第一標注數據進行標注，得到第二標注數據。本發明適用于數據的標注。

技術領域

本發明涉及自然語言處理技術領域，特別是涉及一種數據標注方法、裝置、存儲介質及計算機設備。

背景技術

自然語言處理(Natural Language Processing，NLP)需要對文本進行標注，由于標注復雜度高，單個標注任務標簽數量大，標注人員無法很好的記憶多個標簽的含義，降低標注效率，影響標注速度。對于大規模的算法建模非常重要，在NLP的文本分類、序列標注和命名實體識別任務中，都會遇到類似標注任務復雜度高，標注任務標簽數量多的情況。

目前，現有標注系統和方法，無論是單機版，還是平臺型的支持多人實時標注的系統，都是一次性倒入標注數據，交給標注人員標注。然而，由于標注任務復雜度高，標注標簽數量多，所以標注人員需要記憶很多個標簽，并且標簽之間可能會存在類似的情況，所以需要標注人員對標簽有很高的熟練度。這導致標注人員需要很長的記憶時間來適應復雜的標注任務，影響標注效率，浪費寶貴的人力資源。

發明內容

有鑒于此，本發明提供一種數據標注方法、裝置、存儲介質及計算機設備，主要目的在于能夠解決現有技術中通過人工對數據進行一次性標注，降低標注效率和準確性，浪費人力資源的問題。

依據本發明一個方面，提供了一種數據標注方法，包括：

獲取預先定義的數據標簽，其中，所述數據標簽包括多個一級標簽以及與所述一級標簽相對應的多個二級標簽；

利用獲取的第一樣本數據訓練第一標注模型，對當前還未標注一級標簽的待標注數據進行自動標注，得到第一標注數據，其中，所述第一樣本數據為各目標對象對選取的部分待標注數據進行一級標簽的標注而得到的；

依據各目標對象標注數量最多的一級標簽，將選取的部分第一標注數據配置給相應的目標對象進行二級標簽的標注，得到第二樣本數據；

利用所述第二樣本數據訓練第二標注模型，對當前還未標注二級標簽的第一標注數據進行自動標注，得到第二標注數據。

進一步地，所述利用獲取的第一樣本數據訓練第一標注模型，對當前還未標注一級標簽的待標注數據進行自動標注，得到第一標注數據，包括：

獲取各目標對象利用所述一級標簽對選取的部分待標注數據進行標注得到的第一樣本數據；

根據預設的深度學習模型、所述第一樣本數據以及所述一級標簽，訓練第一標注模型；

利用所述第一標注模型對當前還未標注一級標簽的待標注數據進行自動標注處理，得到第一標注數據。

可選地，所述利用所述第一標注模型對當前還未標注一級標簽的待標注數據進行自動標注處理，得到第一標注數據之后，所述方法還包括：

分別統計并提取各目標對象標注數量最多的K個一級標簽；

按照各目標對象對應的所述K個一級標簽，將所述第一標注數據配置給相應的目標對象進行復檢。

進一步地，所述利用所述第二樣本數據訓練第二標注模型，對當前還未標注二級標簽的第一標注數據進行自動標注，得到第二標注數據，包括：