[發明專利]基于語義模型的訓練方法、裝置以及電子設備

在審

• 申請號: 201911385958.6
• 申請日: 2019-12-27
• 公開（公告）號: CN111079445A
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 陳喜旺;黃柯
• 申請（專利權）人: 南京三百云信息科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/247;G06Q50/00
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 張萌

1.一種基于語義模型的訓練方法，其特征在于，預先確定標注的訓練樣本集、未標注文本集以及識別模型，所述識別模型包括語義標注模型、判定邏輯以及關鍵詞集合，所述關鍵詞集合中的關鍵詞為基于所述標注的訓練樣本集確定的具有歧義的詞；所述方法包括：

基于所述標注的訓練樣本集對所述語義標注模型進行訓練，得到訓練后的語義標注模型；基于所述語義標注模型重復執行下述步驟，直至所述識別模型的識別結果滿足預設條件，輸出為訓練后的識別模型：

基于所述語義標注模型對所述未標注文本集中的每個文本進行識別，得到每個所述文本的初步標簽；

基于所述關鍵詞集合以及所述判定邏輯，對每個所述文本的初步標簽進行判斷，得到每個所述文本的最終標簽；

基于每個所述文本的最終標簽對所述訓練后的語義標注模型進行訓練，以及對中間判定邏輯和中間關鍵詞集合進行優化；

確定所述識別模型的識別結果是否滿足預設條件。

2.根據權利要求1所述的方法，其特征在于，所述關鍵詞集合的存儲方式為分布式存儲的方式；和/或，所述標注的訓練樣本集和所述未標注文本集的存儲方式為分布式存儲的方式。

3.根據權利要求1所述的方法，其特征在于，所述關鍵詞集合中的關鍵詞對應有標簽；多個所述標簽被分至多個不同標簽種類的組內，每個所述組內的標簽具有與對應組之間的索引。

4.根據權利要求1所述的方法，其特征在于，所述關鍵詞集合中的關鍵詞為目標對象的身份關鍵詞；

所述標注的訓練樣本集和所述未標注文本集中的樣本均為所述目標對象的社交數據樣本。

5.根據權利要求4所述的方法，其特征在于，所述目標對象的社交數據樣本的標注內容包括下述任意一項或多項：

時間、地點以及所述目標對象的標識、工作行業領域、社交關系和親屬關系。

6.根據權利要求1所述的方法，其特征在于，所述標注的訓練樣本集包括：訓練樣本和測試樣本；

確定所述識別模型的識別結果是否滿足預設條件的步驟，包括：

基于所述測試樣本通過所述識別模型，得到測試結果；

根據所述測試結果確定所述識別模型的識別結果是否滿足預設條件。

7.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將所述關鍵詞集合、所述判定邏輯以及所述識別模型進行封裝，得到封裝結果；

所述封裝結果的形式為Python模塊或API接口。

8.一種基于語義模型的訓練裝置，其特征在于，預先確定標注的訓練樣本集、未標注文本集以及識別模型，所述識別模型包括語義標注模型、判定邏輯以及關鍵詞集合，所述關鍵詞集合中的關鍵詞為基于所述標注的訓練樣本集確定的具有歧義的詞；所述裝置包括：

第一訓練模塊，用于基于所述標注的訓練樣本集對所述語義標注模型進行訓練，得到訓練后的語義標注模型；

識別模塊，用于基于所述語義標注模型對所述未標注文本集中的每個文本進行識別，得到每個所述文本的初步標簽；

判斷模塊，用于基于所述關鍵詞集合以及所述判定邏輯，對每個所述文本的初步標簽進行判斷，得到每個所述文本的最終標簽；

第二訓練模塊，用于基于每個所述文本的最終標簽對所述訓練后的語義標注模型進行訓練，以及對中間判定邏輯和中間關鍵詞集合進行優化；

確定模塊，用于確定所述識別模型的識別結果是否滿足預設條件；

所述識別模塊、所述判斷模塊、所述第二訓練模塊以及所述確定模塊重復運行，直至所述識別模型的識別結果滿足預設條件，輸出為訓練后的識別模型。

9.一種電子設備，包括存儲器、處理器，所述存儲器中存儲有可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現上述權利要求1至7任一項所述的方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有機器可運行指令，所述計算機可運行指令在被處理器調用和運行時，所述計算機可運行指令促使所述處理器運行所述權利要求1至7任一項所述的方法。