[發明專利]低俗圖像的識別方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 202011256907.6
• 申請日: 2020-11-11
• 公開（公告）號: CN112257661A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 劉剛
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 王花麗;張穎玲

1.一種低俗圖像的識別方法，其特征在于，所述方法包括：

獲取待識別圖像、及所述待識別圖像關聯的上下文信息；

分別對所述待識別圖像及所述上下文信息進行特征提取，得到圖像特征及上下文特征；

基于所述圖像特征及上下文特征，對所述待識別圖像進行分類，得到所述待識別圖像所屬的類別；

確定所述待識別圖像的圖像場景，并基于所述類別及所述圖像場景確定所述待識別圖像的低俗識別結果。

2.如權利要求1所述的方法，其特征在于，所述獲取待識別圖像，包括

獲取待識別視頻；

從所述待識別視頻中，抽取至少一個關鍵幀作為待識別圖像；

相應的，所述基于所述類別及所述圖像場景確定所述待識別圖像的低俗識別結果之后，所述方法還包括：

將所述待識別圖像的低俗識別結果，作為所述待識別視頻的低俗識別結果。

3.如權利要求1所述的方法，其特征在于，獲取所述待識別圖像關聯的上下文信息，包括：

獲取所述待識別圖像關聯的文本信息，所述文本信息包括所述待識別圖像的標題信息、標簽信息、文本描述信息中至少之一；

將獲取的所述待識別圖像關聯的文本信息，作為所述待識別圖像關聯的上下文信息。

4.如權利要求1所述的方法，其特征在于，獲取所述待識別圖像關聯的上下文信息，包括：

當所述待識別圖像為視頻中的幀圖像時，獲取所述視頻的內容描述信息；

將所述視頻的內容描述信息作為所述待識別圖像的上下文信息。

5.如權利要求1所述的方法，其特征在于，對所述待識別圖像進行特征提取，得到圖像特征及上下文特征，包括：

獲取預訓練得到的用于對所述待識別圖像進行分類的圖像分類模型；

獲取所述圖像分類模型對所述待識別圖像分類的過程中，所述圖像分類模型的中間層輸出的特征向量，作為所述待識別圖像的圖像特征。

6.如權利要求1所述的方法，其特征在于，對所述上下文信息進行特征提取，得到上下文特征，包括：

當所述上下文信息為文本時，對所述文本進行分詞處理，得到至少兩個詞；

通過詞向量模型對所述至少兩個詞進行編碼，得到各個詞對應的編碼特征；

對所述各個詞對應的編碼特征進行特征拼接，得到所述上下文特征。

7.如權利要求1所述的方法，其特征在于，所述對所述待識別圖像進行特征提取，得到圖像特征，包括：

當待識別圖像的數量為至少兩個時，分別對各所述待識別圖像進行特征提取，得到對應各所述待識別圖像的特征；

對至少兩個所述待識別圖像的特征進行特征融合，得到所述圖像特征。

8.如權利要求1所述的方法，其特征在于，所述基于所述圖像特征及上下文特征，對所述待識別圖像進行分類，得到所述待識別圖像所屬的類別，包括：

對所述圖像特征及所述上下文特征進行拼接，得到拼接特征；

基于所述拼接特征，對所述待識別圖像進行多標簽分類，得到所述待識別圖像所屬的至少一個類別。

9.如權利要求1所述的方法，其特征在于，所述基于所述圖像特征及上下文特征，對所述待識別圖像進行分類，得到所述待識別圖像所屬的類別，包括：

對所述圖像特征及所述上下文特征進行拼接，得到拼接特征，并將所述拼接特征輸入多標簽分類模型；

通過所述多標簽分類模型的編碼層，對所述拼接特征進行編碼，得到相應的編碼特征；

通過所述多標簽分類模型的分類預測層，對所述編碼特征進行分類預測，得到所述待識別圖像所屬的至少一個類別。