[發明專利]一種基于小樣本學習的badcase發現方法及系統

在審

• 申請號: 202010173479.4
• 申請日: 2020-03-13
• 公開（公告）號: CN111046979A
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 郭濤;江嶺
• 申請（專利權）人: 成都曉多科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 成都睿道專利代理事務所(普通合伙) 51217
• 代理人: 李紅

本發明公開了一種基于小樣本學習的badcase發現方法及系統，該系統應用該方法，方法包括數據預處理，從已標注訓練語料中隨機獲取多個小樣本，并將樣本分為支持集和目標集；模型預訓練，將樣本輸入基礎模型與兩種注意力機制的結合，訓練得到badcase發現模型；預測數據組裝，根據線上預測結果語義，從已標注訓練語料中獲取線上預測結果語義下的小樣本，并與待預測句子組成預測數據；數據預測，將預測數據輸入badcase發現模型，預測得到待預測句子的預測語義，對比預測語義和線上預測結果語義，判斷待預測句子是否為badcase。采用本方法進行badcase發現能夠在海量的數據中快速定位并準確到分錯數據。

技術領域

本發明屬于計算機數據處理技術領域，具體地說涉及一種基于小樣本學習的badcase發現方法及系統。

背景技術

在有監督分類學習中，在線下測試集效果良好的模型在線上應用時候效果往往會有一定的差距，這需要針對這些差距不斷的進行優化，讓模型在線上應用的效果越來越好。這些差距的表現就是模型對線上數據進行預測應用時，預測分錯的數據（常稱為badcase）比例會偏高，優化的過程需要找到這些預測分錯的數據，然后針對性的分析錯誤的原因并解決。而線上數據量是非常龐大的，往往是百萬千萬甚至是億級別的訪問量，如果依靠人力，在如此龐大的數據中定位到分錯數據（badcase）非常耗時耗力。

現有的定位分錯數據的技術包括隨機抽樣技術和預測模型預置選取方式兩種。采用隨機抽樣技術（random sample），對線上預測結果隨機幾千條，然后交予人工進行標注評判，人力有限，隨機覆蓋范圍少，無法覆蓋盡量多的badcase。采用預測模型閾值選取方式（如預測概率閾值在0.5~0.7之間），對閾值內的數據重點進行人工篩選評判，數據源有偏，無法發現預測概率高的badcase。

申請號為2019100115385的發明專利公開了一種基于注意力神經網絡的小樣本學習圖像識別方法，方法包括如下步驟：步驟S1：將樣本圖片經過神經網絡處理，得到該圖片的特征向量；步驟S2：將同一類別圖片的特征向量經過注意力網絡處理，得到圖片的特征注意力向量；步驟S3：將特征注意力向量與特征向量相乘得到注意力修正后的特征向量；步驟S4：將注意力修正后的特征向量求平均值得到同一類別的特征向量；步驟S5：將待處理的圖片經過神經網絡處理，得到待處理圖片的特征向量；步驟S6：將待處理圖片的特征向量與同一類別的特征向量進行距離遠近的對比，得到待處理圖片的所屬類別，解決了當樣本數據量比較少時可以進行圖片分類同時能一定程度上減少圖片背景干擾，提高識別準確率的問題。

該方案中主要是應用注意力神經網絡在樣本較小的情況下實現對圖像進行分類，不涉及對badcase的發現，因此，需要通過新的技術的方法在海量的數據中快速定位并準確到分錯數據，以提高發現分錯數據的效率。

發明內容

針對現有技術中上述的不足，本發明提供基于小樣本學習的badcase發現方法及系統，該系統應用該方法，該方法在基礎網絡的基礎上引入了兩種注意力機制，一方面從技術上減少錯誤實例和語義偏差較大的實例對語義原型的學習偏差，另一方面突出特征空間中重要的特征維度，用以緩解特征稀疏的問題。采用本方法進行badcase發現能夠在海量的數據中快速定位并準確到分錯數據。

為了達到上述目的，本發明采用的解決方案是：一種基于小樣本學習的badcase發現方法，包括如下步驟：

S1:數據預處理，從已標注訓練語料中隨機獲取多個小樣本，并將樣本分為支持集和目標集，所述的小樣本采用N-way K-shot的數據形式，N表示每個小訓練批次包括的語義個數，K表示每個語義下的訓練樣本個數。已標注訓練語料是模型在上線前的訓練過程中使用的預料，該語料在模型訓練前已經標注過，在badcase發現過程中屬于再次使用，不會增加額外的數據標注成本。

S2：模型預訓練，將樣本輸入基礎模型與兩種注意力機制的結合，訓練得到badcase發現模型，具體包括: