[發明專利]語料標注方法、裝置及設備

有效

• 申請號: 202110318770.0
• 申請日: 2021-03-25
• 公開（公告）號: CN112699645B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 袁徐磊;宋鑫;肖鵬
• 申請（專利權）人: 北京健康之家科技有限公司
• 主分類號: G06F40/169
• 分類號: G06F40/169;G06F40/211;G06F40/295;G06F40/30;G06F16/33;G06F16/332
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威

1.一種語料標注方法，其特征在于，包括：

對不同業務場景下文本數據進行斷句處理，將斷句處理后形成的文本語料保存至語料數據庫；

以語義點為單位將預先設置的標準違規描述劃分至不同違規類別，所述語義點為包含至少一個實體概念的單句或者復句，具體包括：以語義點為單位，從預先設置的標準違規描述中提取包含至少一個實體概念的單句或者復句；計算所述包含至少一個實體概念的單句或者復句映射在不同違規類別上的違規特征度；根據所述違規特征度，將所述包含至少一個實體概念的單句或者復句劃分至不同違規類別，所述違規特征度用于反映違規特征在相應違規類別上的概率，所述違規類別涉及到針對實體概念的違規要求；

根據所述語義點包含的實體概念以及實體概念之間的邏輯關系，建立關鍵詞語義規則，所述關鍵詞語義規則為針對標準違規描述在不同違規類別上映射的違規表達式；

利用所述違規表達式從所述語料數據庫中匹配出包含有不同違規類別的目標文本語料，并基于違規類別對所述目標文本語料進行標注。

2.根據權利要求1所述的方法，其特征在于，所述對不同業務場景下文本數據進行斷句處理，具體包括：

按照文本數據中交互發起的時間順序，將不同業務場景下的文本數據以句子為單位進行拆分，獲取交互發起方對應的文本語料；

根據所述交互發起方對應的文本語料映射的文本長度，對所述文本語料進行拆分和/或合并處理。

3.根據權利要求2所述的方法，其特征在于，所述根據所述交互發起方對應的文本語料映射的文本長度，對所述文本語料進行拆分和/或合并處理，具體包括：

將所述交互發起方對應的文本語料映射的文本長度與預設文本長度范圍進行比對；

針對所述文本長度大于預設文本長度范圍中最大值的文本語料，對所述文本語料進行拆分處理；

針對所述文本長度小于預設文本長度范圍中最小值的文本語料，對所述文本語料進行合并處理。

4.根據權利要求1所述的方法，其特征在于，所述計算所述包含至少一個實體概念的單句或者復句映射在不同違規類別上的違規特征度，具體包括：

針對所述包含至少一個實體概念的單句或者復句，提取實體概念以及實體概念之間的邏輯關系；

通過將所述實體概念以及所述實體概念之間的邏輯關系與不同違規類別上的違規特征進行匹配，計算所述包含至少一個實體概念的單句或者復句映射在不同違規類別上的違規特征度。

5.根據權利要求1所述的方法，其特征在于，所述根據所述語義點包含的實體概念以及實體概念之間的邏輯關系，建立關鍵詞語義規則，具體包括：

根據所述語義點包含的實體概念以及實體概念之間的邏輯關系，確定關鍵詞之間的邏輯運算條件；

按照所述關鍵詞之間的邏輯運算條件，建立關鍵詞語義規則。

6.根據權利要求1所述的方法，其特征在于，所述利用所述違規表達式從所述語料數據庫中匹配出包含有不同違規類別的目標文本語料，具體包括：

利用關鍵詞語義規則，將所述關鍵詞語義規則中涉及的實體概念以及邏輯關系映射為語料查詢表達式；

根據所述語料查詢表達式，從所述語料數據庫中匹配出包含有不同違規類別的目標文本語料。

7.根據權利要求1-6中任一項所述的方法，其特征在于，在所述以語義點為單位將預先設置的標準違規描述劃分至不同違規類別之后，所述方法還包括：

針對每個違規類別，構建識別模型，所述識別模型用于基于輸入的交互文本識別出違規文本；

將標注后的目標文本語料形成樣本數據和測試數據，使用所述樣本數據和測試數據對每個違規類別的識別模型進行訓練。