[發明專利]困難樣本數據挖掘方法、裝置、設備和存儲介質

在審

• 申請號: 202110063977.8
• 申請日: 2021-01-18
• 公開（公告）號: CN112784095A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 易帆
• 申請（專利權）人: 北京洛塔信息技術有限公司
• 主分類號: G06F16/65
• 分類號: G06F16/65;G06F16/75;G06K9/62
• 代理公司: 北京澤方譽航專利代理事務所(普通合伙) 11884
• 代理人: 陳照輝

本發明實施例公開了一種困難樣本數據挖掘方法、裝置、設備和存儲介質，該方法包括：獲取待檢測流數據，基于設定的時間窗口以及時間間隔確定所述待檢測流數據中的連續多個子流數據；通過機器審核模型確定所述連續多個子流數據中每個子流數據的審核結果；如果存在審核結果不一致的子流數據，則確定所述不一致的子流數據與臨近子流數據的相似度，如果所述相似度滿足預設條件，則確定所述審核結果不一致的子流數據為困難樣本。本方案，實現了從海量的無標簽流數據中快速高效的挖掘困難樣本，并用于模型迭代，有效提高模型性能，保證了模型推送數據的召回率和準確率，同時使得相應的審核模型能發現更多違規數據，降低整體數據的推送量。

技術領域

本申請實施例涉及計算機領域，尤其涉及一種困難樣本數據挖掘方法、裝置、設備和存儲介質。

背景技術

目前短視頻、直播、新聞資訊等平臺的迅速發展崛起，帶來的視頻、音頻等數據量與日俱增，隨著國家監管的力度不斷提升，許多不良內容已成為重點關注區域，音視頻內容安全審核在其中發揮著重要作用。現代內容安全審核系統以機器審核為主，通過濾除大量無效、不違規的音視頻數據，只推送少量潛在違規的數據供人工審核，極大提升了審核效率，減輕人工審核負擔，避免了人工審核面對大量音視頻數據時帶來的疲勞誤審、漏審。因此為了保證短視頻、直播等音視頻內容安全，內容安全審核系統中機器審核需要盡可能的推送更多的違規數據，并在此前提下，減少推送數據的總量(也即高召回率和高準確率)。

提升機器審核模型的性能對于保證線上流數據安全至關重要，提升機器審核模型主要體現在兩方面：第一為線上流數據中存在違規比較隱蔽的難正樣本(比如違規區域小，存在遮擋，背景昏暗復雜等)，會影響機器審核模型的召回率；第二為線上流數據中存在和違規內容非常相似的特征，但實際并不違規的難負樣本(如黑色桿狀物被認為是違規物品)，會影響機器審核模型的準確率。因此加入難正樣本和難負樣本重訓能提升機器審核模型識別難樣本能力。

現有技術中，提升模型性能的困難樣本挖掘的方法，大多在已有數據標簽情況下挖掘困難樣本，屬于有監督挖掘；而無法對于像直播流巨大數據量無標簽場景進行挖掘，如果將數據進行標注則成本太高，且耗時長，挖掘的困難樣本少。因此為提升機器審核模型的性能，需快速便捷準確的從線上流數據中無監督挖掘出有效困難樣本。

發明內容

本發明實施例提供了一種困難樣本數據挖掘方法、裝置、設備和存儲介質，實現了從海量的無標簽流數據中快速高效的挖掘困難樣本，并用于模型迭代，有效提高模型性能，保證了模型推送數據的召回率和準確率，同時使得相應的審核模型能發現更多違規數據，降低整體數據的推送量，進一步減輕了人工審核的負擔。

第一方面，本發明實施例提供了一種困難樣本數據挖掘方法，該方法包括：

獲取待檢測流數據，基于設定的時間窗口以及時間間隔確定所述待檢測流數據中的連續多個子流數據；

通過機器審核模型確定所述連續多個子流數據中每個子流數據的審核結果；

如果存在審核結果不一致的子流數據，則確定所述不一致的子流數據與臨近子流數據的相似度，如果所述相似度滿足預設條件，則確定所述審核結果不一致的子流數據為困難樣本。

第二方面，本發明實施例還提供了一種困難樣本數據挖掘裝置，該裝置包括：

子流數據確定模塊，用于獲取待檢測流數據，基于設定的時間窗口以及時間間隔確定所述待檢測流數據中的連續多個子流數據；

審核結果確定模塊，用于通過機器審核模型確定所述連續多個子流數據中每個子流數據的審核結果；

困難樣本確定模塊，用于如果存在審核結果不一致的子流數據，則確定所述不一致的子流數據與臨近子流數據的相似度，如果所述相似度滿足預設條件，則確定所述審核結果不一致的子流數據為困難樣本。

第三方面，本發明實施例還提供了一種困難樣本數據挖掘設備，該設備包括：