[發明專利]數據的處理方法、裝置、設備以及存儲介質

有效

• 申請號: 202010784923.6
• 申請日: 2020-08-06
• 公開（公告）號: CN112017634B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 肖芃芃
• 申請（專利權）人: OPPO(重慶)智能科技有限公司
• 主分類號: G10L15/01
• 分類號: G10L15/01;G10L15/18;G10L15/06
• 代理公司: 北京知帆遠景知識產權代理有限公司 11890
• 代理人: 吳文婧

本申請實施例提供了一種數據的處理方法、裝置、設備以及存儲介質。該方法包括：根據預設的驗證集，對語言算法模型進行驗證，得到驗證結果，該驗證集包括第一數據集，第一數據集包括從數據池抽樣得到的多個第一數據，第一數據是攜帶有標簽，且不確定度大于第一預設閾值的數據；根據驗證結果，更新語言算法模型。從而實現對語言算法模型對包括不確定度高的數據在內的識別準確性。

技術領域

本申請實施例涉及語言識別技術領域，并且更具體地，涉及數據的處理方法、裝置、設備以及存儲介質。

背景技術

隨著語言識別技術的不斷發展，基于自然語言理解(Natural?LanguageUnderstanding，NLU)的對話系統在包括手機、平板、電視等在內的終端設備中得到廣泛的應用。而為了滿足用戶對于對話系統的自然語言理解能力的高要求，需要不斷優化基于NLU的語言算法模型，使其分類識別能力得到優化，進而更好的識別用戶的意圖。

對此，現有技術常需要通過大量的訓練數據對語言算法模型的分類識別能力進行優化訓練，而在實際業務領域中，訓練數據往往受長尾效應的影響而缺乏均衡性，大量類別模糊的邊界語料因收錄的頻次較低而很少被抽取為訓練數據，而少數類別清晰的數據因收錄的頻次較高，較多的被抽取為訓練數據，導致語言算法模型無法對大量的邊界數據進行準確的分類識別，進而使得語言算法模型的準確性較差。

發明內容

本申請實施例提供了一種數據的處理方法、裝置、設備以及存儲介質。實現對語言算法模型的準確性進行驗證和優化。

第一方面，提供了一種數據的處理方法，包括：

根據預設的驗證集，對語言算法模型進行驗證，得到驗證結果；驗證集包括第一數據集，第一數據集包括從數據池抽樣得到的多個第一數據，第一數據是攜帶有標簽，且不確定度大于第一預設閾值的數據；

根據驗證結果，更新語言算法模型。

在一種具體的實現方式中，根據驗證集，對語言算法模型進行驗證，得到驗證結果，包括：

針對驗證集中的每個驗證數據，將驗證數據輸入語言算法模型，得到語言算法模型針對驗證數據的輸出結果；

根據輸出結果和驗證數據的標簽，確定語言算法模型針對驗證數據的輸出結果是否正確。

在一種具體的實現方式中，根據輸出結果和驗證數據的標簽，確定語言算法模型針對驗證數據的輸出結果是否正確，包括：

確定輸出結果和驗證數據的標簽是否相同；

若輸出結果和驗證數據的標簽相同，則語言算法模型針對驗證數據的輸出結果正確；

否則，語言算法模型針對驗證數據的輸出結果錯誤。

在一種具體的實現方式中，根據驗證結果，更新語言算法模型，包括：

根據驗證結果，確定語言算法模型是否滿足第一更新條件；

在語言算法模型滿足第一更新條件時，根據預設的訓練集，對語言算法模型進行訓練；訓練集包括第二數據集，第二數據集包括從數據池中抽樣得到的多個第二數據，第二數據是攜帶有標簽，且不確定度大于第二預設閾值的數據；

將語言算法模型更新為訓練后的語言算法模型。

在一種具體的實現方式中，根據驗證結果，確定語言算法模型是否滿足第一更新條件，包括：

根據驗證結果，確定語言算法模型針對全部驗證數據的輸出結果的正確率是否小于第一預設正確率閾值；

若語言算法模型針對全部驗證數據的輸出結果的正確率小于第一預設正確率閾值，則語言算法模型滿足第一更新條件；

否則，語言算法模型不滿足第一更新條件。