[發明專利]信息處理方法、裝置、計算機可讀存儲介質和計算機設備

在審

• 申請號: 202111031124.2
• 申請日: 2021-09-03
• 公開（公告）號: CN114357152A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 李磊;林衍凱;任抒懷;李鵬;周杰;孫栩
• 申請（專利權）人: 北京大學;騰訊科技（深圳）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/216;G06K9/62;G06N3/08
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 李漢亮

本申請實施例公開了一種信息處理方法、裝置、計算機可讀存儲介質和計算機設備，涉及互聯網技術領域；通過獲取目標樣本；采用預設分類模型對目標樣本進行分類處理，得到目標樣本對應的第一類別概率分布；根據第一類別概率分布計算目標樣本的困難系數，并基于困難系數對目標樣本進行篩選，得到篩選后目標樣本；采用訓練后深度分類模型對篩選后目標樣本進行分類處理，得到篩選后目標樣本對應的第二類別概率分布；計算第二類別概率分布與第一類別概率分布之間的差異，并基于差異對預設分類模型進行收斂，得到訓練后分類模型，該訓練后分類模型用于對待處理信息進行分類。以此，在模型訓練過程中提高了信息處理效率，進而提高了模型訓練的效率。

技術領域

本申請涉及互聯網技術領域，具體涉及一種信息處理方法、裝置、計算機可讀存儲介質和計算機設備。

背景技術

自然語言處理(Natural Language Processing,NLP)是計算機科學領域與人工智能領域中的一個重要方向。它研究能夠實現人與計算機之間用自然語言進行有效通信的各種理論和方法。隨著計算機技術以及人工智能技術的發展，人們對自然語言處理技術的要求也不斷提高，相應的，對模型的性能要求也在提高。其中，為了可以得到性能較好且模型體積較小的模型，可以通過知識蒸餾(knowledge distillation，簡稱KD)對模型進行訓練。

然而，在現有技術中，用于模型壓縮的知識蒸餾技術在大規模語料上訓練速度較慢，使得模型壓縮部署所需的成本較高，在模型訓練過程中信息處理效率較低，進而導致模型訓練的效率較低。

發明內容

本申請實施例提供一種信息處理方法、裝置、計算機可讀存儲介質和計算機設備，可以提高模型訓練過程中信息處理的效率，進而提高模型訓練的效率。

本申請實施例提供一種信息處理方法，包括：

獲取目標樣本；

采用預設分類模型對所述目標樣本進行分類處理，得到所述目標樣本對應的第一類別概率分布；

根據所述第一類別概率分布計算所述目標樣本的困難系數，并基于所述困難系數對所述目標樣本進行篩選，得到篩選后目標樣本，所述困難系數表征預設分類模型輸出所述目標樣本對應的每一類別概率的不確定程度；

采用訓練后深度分類模型對所述篩選后目標樣本進行分類處理，得到所述篩選后目標樣本對應的第二類別概率分布，所述訓練后深度分類模型的網絡深度大于預設分類模型的網絡深度；

計算所述第二類別概率分布與所述第一類別概率分布之間的差異，并基于所述差異對預設分類模型進行收斂，得到訓練后分類模型，所述訓練后分類模型用于對待處理信息進行分類。

相應的，本申請實施例提供一種信息處理裝置，包括：

獲取單元，用于獲取目標樣本；

第一分類單元，用于采用預設分類模型對所述目標樣本進行分類處理，得到所述目標樣本對應的第一類別概率分布；

篩選單元，用于根據所述第一類別概率分布計算所述目標樣本的困難系數，并基于所述困難系數對所述目標樣本進行篩選，得到篩選后目標樣本，所述困難系數表征預設分類模型輸出所述目標樣本對應的每一類別概率的不確定程度；

第二分類單元，用于采用訓練后深度分類模型對所述篩選后目標樣本進行分類處理，得到所述篩選后目標樣本對應的第二類別概率分布，所述訓練后深度分類模型的網絡深度大于預設分類模型的網絡深度；

計算單元，用于計算所述第二類別概率分布與所述第一類別概率分布之間的差異，并基于所述差異對預設分類模型進行收斂，得到訓練后分類模型，所述訓練后分類模型用于對待處理信息進行分類。

在一實施例中，所述篩選單元，包括：