[發明專利]語料標注方法、裝置及設備

有效

• 申請號: 202110318770.0
• 申請日: 2021-03-25
• 公開（公告）號: CN112699645B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 袁徐磊;宋鑫;肖鵬
• 申請（專利權）人: 北京健康之家科技有限公司
• 主分類號: G06F40/169
• 分類號: G06F40/169;G06F40/211;G06F40/295;G06F40/30;G06F16/33;G06F16/332
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威

本申請公開了一種語料標注方法、裝置及設備，涉及人工智能技術領域，能夠批量化生成不同違規類型的文本語料，節省語料標注時間。其中方法包括：對不同業務場景下文本數據進行斷句處理，將斷句處理后形成的文本語料保存至語料數據庫；以語義點為單位將預先設置的標準違規描述劃分至不同違規類別；根據所述語義點包含的實體概念以及實體概念之間的邏輯關系，建立關鍵詞語義規則，所述關鍵詞語義規則為針對標準違規描述在不同違規類別上映射的違規表達式；利用所述違規表達式從所述語料數據庫中匹配出包含有不同違規類別的目標文本語料，并基于違規類別對所述目標文本語料進行標注。

技術領域

本申請涉及人工智能技術領域，尤其是涉及到一種語料標注方法、裝置及設備。

背景技術

為了促進企業銷售、開拓市場和提高客戶滿意度，企業通常廣泛使用客服中心來觸達客戶，該過程會產生龐大的通話記錄和聊天記錄，以對客服質量進行監控，主要針對客服是否使用違規用語進行識別，例如，檢測客服人員是否使用規范用語，檢測客服人員是否推廣規定產品。

傳統的人工質檢效率低下，勞動重復性大，目前借助人工智能技術，使用自然語言處理技術進行預訓練識別模型，可以輔助識別違規用語，大幅提高識別效率。但是，在使用自然語言處理技術過程中需要使用大量語料訓練識別模型，尤其是越復雜的語義所需要的語料越多，而在實際應用場景中，大量語料的標注過程需要耗費眾多人力成本，提高了技術成本，甚至很多復雜業務場景很難提供足額語料，使得識別模型訓練結果不達標，導致模型針對違規用語的識別效果無法達到理論上的準確率。

發明內容

有鑒于此，本申請提供了一種語料標注方法、裝置及設備，主要目的在于解決現有技術中語料標注過程人力成本高以及復雜場景下語料不足的問題。

根據本申請的第一個方面，提供了一種語料標注方法，該方法包括：

對不同業務場景下文本數據進行斷句處理，將斷句處理后形成的文本語料保存至語料數據庫；

以語義點為單位將預先設置的標準違規描述劃分至不同違規類別；

根據所述語義點包含的實體概念以及實體概念之間的邏輯關系，建立關鍵詞語義規則，所述關鍵詞語義規則為針對標準違規描述在不同違規類別上映射的違規表達式；

利用所述違規表達式從所述語料數據庫中匹配出包含有不同違規類別的目標文本語料，并基于違規類別對所述目標文本語料進行標注。

進一步地，所述對不同業務場景下文本數據進行斷句處理，具體包括：

按照文本數據中交互發起的時間順序，將不同業務場景下的文本數據以句子為單位進行拆分，獲取交互發起方對應的文本語料；

根據所述交互發起方對應的文本語料映射的文本長度，對所述文本語料進行拆分和/或合并處理。

進一步地，所述根據所述交互發起方對應的文本語料映射的文本長度，對所述文本語料進行拆分和/或合并處理，具體包括：

將所述交互發起方對應的文本語料映射的文本長度與預設文本長度范圍進行比對；

針對所述文本長度大于預設文本長度范圍中最大值的文本語料，對所述文本語料進行拆分處理；

針對所述文本長度小于預設文本長度范圍中最小值的文本語料，對所述文本語料進行合并處理。

進一步地，所述語義點為包含至少一個實體概念的單句或者復句，所述以語義點為單位將預先設置的標準違規描述劃分至不同違規類別，具體包括：

以語義點為單位，從預先設置的標準違規描述中提取包含至少一個實體概念的單句或者復句；

計算所述包含至少一個實體概念的單句或者復句映射在不同違規類別上的違規特征度；