[發(fā)明專利]智能客服知識庫模型訓練方法、裝置及電子設備

在審

• 申請?zhí)枺?/td>: 202110852471.5
• 申請日: 2021-07-27
• 公開（公告）號: CN113569028A
• 公開（公告）日: 2021-10-29
• 發(fā)明（設計）人: 胡冰;侯玥;王亞利;劉志強;申建淳;王繼超
• 申請（專利權(quán)）人: 北京政信1890智能科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/36;G06F40/35;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 榮穎佳

1.一種智能客服知識庫模型訓練方法，其特征在于，所述方法包括：

獲取目標業(yè)務領(lǐng)域的高頻問答數(shù)據(jù)，以使工作人員根據(jù)高頻問答數(shù)據(jù)繪制問答流程圖；

基于所述問答流程圖，生成會話片段，以使所述工作人員對所述會話片段進行測試；

根據(jù)所述工作人員添加的閑聊信息和問答信息，生成閑聊庫和問答庫；

基于測試好的所述會話片段、所述閑聊庫和所述問答庫，進行整體測試，得到初始知識庫模型；

應用預先獲取的知識測試集和知識訓練集，分別對所述初始知識庫模型進行驗證和訓練，得到最終的智能客服知識庫模型；所述知識測試集和知識訓練集中的樣本均是從所述高頻問答數(shù)據(jù)中劃分出來的。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取目標業(yè)務領(lǐng)域的高頻問答數(shù)據(jù)的步驟，包括：

判斷是否存在所述目標業(yè)務領(lǐng)域?qū)臍v史業(yè)務數(shù)據(jù)；

如果是，根據(jù)所述歷史業(yè)務數(shù)據(jù)進行數(shù)據(jù)分類，得到所述目標業(yè)務領(lǐng)域的高頻問答數(shù)據(jù)；

如果否，通過爬蟲技術(shù)從互聯(lián)網(wǎng)上獲取所述目標業(yè)務領(lǐng)域的高頻問答數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述問答流程圖包括多個節(jié)點；基于所述問答流程圖，生成會話片段的步驟，包括：

提供流程節(jié)點的配置操作頁面；

響應針對所述配置操作頁面中，節(jié)點條件和節(jié)點模塊的配置操作，根據(jù)配置的節(jié)點條件和節(jié)點模塊，生成所述會話片段。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述工作人員添加的閑聊信息和問答信息，生成閑聊庫和問答庫的步驟，包括：

提供信息添加頁面；

響應針對所述信息添加頁面中，閑聊信息和問答信息的添加操作，生成閑聊庫和問答庫。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于測試好的所述會話片段、所述閑聊庫和所述問答庫，進行整體測試，得到初始知識庫模型的步驟，包括：

提供BOT測試頁面；

響應針對所述BOT測試頁面中的測試選項的第一操作，對所述會話片段、所述閑聊庫和所述問答庫進行整體測試，得到初始知識庫模型。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，應用預先獲取的知識訓練集和知識測試集，分別對所述初始知識庫模型進行訓練和驗證，得到最終的智能客服知識庫模型的步驟，包括：

基于所述知識測試集對所述初始知識庫模型進行驗證，計算所述初始知識庫模型對應的評價指標；所述評價指標包括測試準確率和/或單個意圖召回率；

如果所述評價指標達到預設閾值，將所述初始知識庫模型作為最終的智能客服知識庫模型；

如果所述評價指標未達到預設閾值，利用所述知識訓練集中的樣本對所述初始知識庫模型進行訓練，得到最終的智能客服知識庫模型。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在基于所述知識測試集對所述初始知識庫模型進行驗證的步驟之后，所述方法還包括：

如果所述知識測試集對應的測試結(jié)果中出現(xiàn)意圖糾纏問題；

針對出現(xiàn)問題的測試樣本中的問題進行語義分析，以根據(jù)分析結(jié)果確定出現(xiàn)問題的原因。

8.一種智能客服知識庫模型訓練裝置，其特征在于，所述裝置包括：

數(shù)據(jù)獲取模塊，用于獲取目標業(yè)務領(lǐng)域的高頻問答數(shù)據(jù)，以使工作人員根據(jù)高頻問答數(shù)據(jù)繪制問答流程圖；

會話片段生成模塊，用于基于所述問答流程圖，生成會話片段，以使所述工作人員對所述會話片段進行測試；

知識庫生成模塊，用于根據(jù)所述工作人員添加的閑聊信息和問答信息，生成閑聊庫和問答庫；

初始模型生成模塊，用于基于測試好的所述會話片段、所述閑聊庫和所述問答庫，進行整體測試，得到初始知識庫模型；

模型訓練驗證模塊，用于應用預先獲取的知識訓練集和知識測試集，分別對所述初始知識庫模型進行訓練和驗證，得到最終的智能客服知識庫模型。