[發明專利]一種數據標注方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 202010532091.9
• 申請日: 2020-06-11
• 公開（公告）號: CN111859854A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 蘭星;陳偉;謝佳雨
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06F40/117
• 分類號: G06F40/117;G06N20/00
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 張子青

1.一種數據標注方法，其特征在于，所述方法包括：

獲取待標注的文本數據；

通過一個或多個機器學習模型對所述文本數據進行數據標注，得到所述文本數據對應的第一標注結果，所述第一標注結果包括一個或多個需標注的標簽中部分標簽或全部標簽對應的第一文本序列；

在標注界面上展示輸出所述文本數據對應的第一標注結果，以供用戶在標注界面上對所述第一標注結果進行處理；

響應于用戶對所述第一標注結果的處理操作，確定所述文本數據對應的第二標注結果，所述第二標注結果包括所述一個或多個需標注的標簽中每個標簽對應的第二文本序列。

2.根據權利要求1所述的方法，其特征在于，所述通過一個或多個機器學習模型對所述文本數據進行數據標注，得到所述文本數據對應的第一標注結果，包括：

通過預置的機器學習模型對所述文本數據進行數據標注，得到所述文本數據中與預設標簽對應的第三文本序列，所述預設標簽為所述預置的機器學習模型所支持的標簽；

根據所述預設標簽與所述一個或多個需標注的標簽之間的對應關系、以及所述第三文本序列，確定所述文本數據對應的第一標注結果。

3.根據權利要求1所述的方法，其特征在于，所述通過一個或多個機器學習模型對所述文本數據進行數據標注，得到所述文本數據對應的第一標注結果，包括：

通過多個機器學習模型分別對所述文本數據進行數據標注，得到每個機器學習模型輸出的第四標注結果，其中，每個機器學習模型輸出的第四標注結果包括所述機器學習模型支持的標簽對應的第四文本序列；

對每個機器學習模型輸出的第四標注結果進行融合處理，得到所述文本數據對應的第一標注結果。

4.根據權利要求3所述的方法，其特征在于，所述對每個機器學習模型輸出的第四標注結果進行融合處理，包括：

根據每個機器學習模型輸出的第四標注結果，確定每個標簽對應的一個或多個第四文本序列；

針對每個標簽，計算所述標簽對應的每個第四文本序列的評分值，所述評分值與每個機器學習模型分別在所述標簽下表現的性能指標、以及所述第四文本序列分別被每個機器學習模型在所述文本數據中標出的次數相關；

針對每個標簽，將所述標簽對應的評分值大于或等于第一閾值的第四文本序列作為所述標簽對應的第一文本序列。

5.根據權利要求4所述的方法，其特征在于，所述第一閾值與所述一個或多個機器學習模型中的每個機器學習模型分別在所述標簽下表現的性能指標相關。

6.根據權利要求4或5所述的方法，其特征在于，所述機器學習模型在所述標簽下表現的性能指標與所述機器學習模型對所述標簽進行標注的準確率和召回率相關。

7.根據權利要求1-6任一項所述的方法，其特征在于，所述響應于用戶對所述第一標注結果的處理操作，確定所述文本數據對應的第二標注結果之后，所述方法還包括：

根據所述文本數據對應的第二標注結果，對所述一個或多個機器學習模型進行模型訓練；

針對所述一個或多個機器學習模型中的每個機器學習模型，根據所述機器學習模型分別在每個標簽下表現的性能指標，確定所述機器學習模型的性能指標；

若所述機器學習模型的性能指標大于或等于第二閾值，則確定所述機器學習模型可用于對所述文本數據進行數據標注。

8.一種數據標注裝置，其特征在于，包括：

機器預標注模塊，用于獲取待標注的文本數據；通過一個或多個機器學習模型對所述文本數據進行數據標注，得到所述文本數據對應的第一標注結果，所述第一標注結果包括一個或多個需標注的標簽中部分標簽或全部標簽對應的第一文本序列；

數據標注模塊，用于在標注界面上展示輸出所述文本數據對應的第一標注結果，以供用戶在標注界面上對所述第一標注結果進行處理；響應于用戶對所述第一標注結果的處理操作，確定所述文本數據對應的第二標注結果，所述第二標注結果包括所述一個或多個需標注的標簽中每個標簽對應的第二文本序列。