[發明專利]一種意圖識別模型訓練的方法、系統、裝置和介質

在審

• 申請號: 202210258058.0
• 申請日: 2022-03-16
• 公開（公告）號: CN114692737A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 王磊
• 申請（專利權）人: 浙江百應科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/215;G06F40/30
• 代理公司: 杭州創智卓英知識產權代理事務所(普通合伙) 33324
• 代理人: 季健康

1.一種意圖識別模型訓練的方法，其特征在于，所述方法包括：

通過原始數據對預訓練模型進行微調，通過微調后的預訓練模型對原始訓練集數據進行打分排序，其中，所述原始訓練集數據包括原始數據和合成數據；

對排序后的原始訓練集數據進行篩選，并將篩選后的數據劃分為不同的訓練子集；

通過所述不同的訓練子集對意圖識別模型進行訓練，得到最終訓練好的意圖識別模型。

2.根據權利要求1所述的方法，其特征在于，所述通過微調后的預訓練模型對原始訓練集數據進行打分排序包括：

計算原始訓練集數據中每一條數據的單句生成概率，并將所述概率轉換為困惑度；

將原始訓練集數據中的每個句子按照困惑度的大小，從小到大進行排列。

3.根據權利要求1或2所述的方法，其特征在于，所述對排序后的原始訓練集數據進行篩選包括：

從排列在尾部的原始訓練集數據中舍棄掉預設篩選比例的數據。

4.根據權利要求1所述的方法，其特征在于，通過所述不同的訓練子集對意圖識別模型進行訓練包括：

從困惑度最小的一個訓練子集開始，逐個將其他的訓練子集合并到當前訓練集中，對模型進行多次訓練，直到模型收斂為止，最終得到訓練好的意圖識別模型。

5.一種意圖識別模型訓練的系統，其特征在于，所述系統包括：

數據排序模塊，用于通過原始數據對預訓練模型進行微調，通過微調后的預訓練模型對原始訓練集數據進行打分排序，其中，所述原始訓練集數據包括原始數據和合成數據；

篩選模塊，用于對排序后的原始訓練集數據進行篩選，并將篩選后的數據劃分為不同的訓練子集；

訓練模塊，用于通過所述不同的訓練子集對意圖識別模型進行訓練，得到最終訓練好的意圖識別模型。

6.根據權利要求5所述的系統，其特征在于，

所述數據排序模塊，還用于計算原始訓練集數據中每一條數據的單句生成概率，并將所述概率轉換為困惑度，

將原始訓練集數據中的每個句子按照困惑度的大小，從小到大進行排列。

7.根據權利要求5或6所述的系統，其特征在于，

所述篩選模塊，還用于從排列在尾部的原始訓練集數據中舍棄掉預設篩選比例的數據。

8.根據權利要求5所述的系統，其特征在于，

所述訓練模塊，還用于從困惑度最小的一個訓練子集開始，逐個將其他的訓練子集合并到當前訓練集中，對模型進行多次訓練，直到模型收斂為止，最終得到訓練好的意圖識別模型。

9.一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行權利要求1至4中任一項所述的意圖識別模型訓練的方法。

10.一種存儲介質，其特征在于，所述存儲介質中存儲有計算機程序，其中，所述計算機程序被設置為運行時執行權利要求1至4中任一項所述的意圖識別模型訓練的方法。