[發明專利]視頻畫面中對象的信息的獲取方法、裝置及設備

有效

• 申請號: 201911409025.6
• 申請日: 2019-12-31
• 公開（公告）號: CN111147891B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 肖丁
• 申請（專利權）人: 杭州威佩網絡科技有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44;G06V20/40;G06K9/62
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孫翠賢;丁蕓

1.一種視頻畫面中對象的信息的獲取方法，其特征在于，所述方法包括：

獲取視頻中的視頻幀以及所述視頻幀的畫面類型；所述畫面類型包括：待識別對象為文字對象的文字類型，以及待識別對象為人物對象的人物類型；

利用與所述畫面類型對應的識別模型，從所述視頻幀中識別與所述畫面類型對應的預存對象信息匹配的內容，作為所述視頻幀的對象信息；

基于所述視頻中各視頻幀的對象信息，獲得所述視頻的視頻畫面中對象的信息；

與所述人物類型對應的預存對象信息包括：預存的人物頭部圖像；

所述利用與所述畫面類型對應的識別模型，從所述視頻幀中識別與所述畫面類型對應的預存對象信息匹配的內容，作為所述視頻幀的對象信息，包括：

獲取該人物類型的視頻幀中第二指定區域的圖像，作為第二待檢圖像；

分別計算所述第二待檢圖像與多個預存的人物頭部圖像之間的相似度，得到多個第二相似度；

將所述多個第二相似度中符合第二預設相似條件的相似度，作為第二目標相似度，并將所述第二目標相似度對應的預存的人物頭部圖像，作為目標人物頭部圖像；

從預存的人物頭部圖像與人物名稱信息的對應關系中，查找所述目標人物頭部圖像對應的人物名稱信息，作為所述視頻幀的對象信息；

所述分別計算所述第二待檢圖像與多個預存的人物頭部圖像之間的相似度，得到多個第二相似度，包括：

針對每個預存的人物頭部圖像，計算所述第二待檢圖像中每個像素點的像素值，與該預存的人物頭部圖像的全局平均像素值之間的差異值，得到與該預存的人物頭部圖像對應的第一差異值；其中，所述全局平均像素值為預存的人物頭部圖像中全部像素點的像素值的平均值；

針對每個預存的人物頭部圖像，計算該預存的人物頭部圖像中每個像素點的像素值，與該預存的人物頭部圖像的全局平均像素值之間的差異值，得到與該預存的人物頭部圖像對應的第二差異值；

針對每個預存的人物頭部圖像，利用該預存的人物頭部圖像對應的所述第二差異值，對該預存的人物頭部圖像對應的所述第一差異值進行歸一化，得到所述第二待檢圖像與該預存的人物頭部圖像之間的第二相似度。

2.根據權利要求1所述的方法，其特征在于，所述獲取視頻中視頻幀的畫面類型，包括：

獲取所述視頻幀的時間戳；所述時間戳用于表明所述視頻幀在所述視頻中的播放時間點；

從所述視頻對應的預存的時間戳與畫面類型的對應關系中，查找所述視頻幀的時間戳對應的畫面類型，作為所述視頻幀的畫面類型。

3.根據權利要求1至2任一項所述的方法，其特征在于，與所述文字類型對應的預存對象信息包括：預存的人物名稱信息；

所述利用與所述畫面類型對應的識別模型，從所述視頻幀中識別與所述畫面類型對應的預存對象信息匹配的內容，作為所述視頻幀的對象信息，包括：

獲取所述文字類型的視頻幀中第一指定區域的圖像，作為第一待檢圖像；

利用預先訓練得到的第一神經網絡模型，對所述第一待檢圖像進行文本檢測，得到所述第一待檢圖像中存在文字信息的文字區域，并將所得到的文字區域作為待識別圖像；其中，所述第一神經網絡模型為利用第一樣本圖像和所述第一樣本圖像中文字區域的標注框訓練得到的；

利用預先訓練得到的第二神經網絡模型，對所述待識別圖像進行文本識別，得到所述待識別圖像中的文字信息；其中，所述第二神經網絡模型為利用第二樣本圖像和所述第二樣本圖像中的人物名稱信息訓練得到的；所述第二樣本圖像為存在所述預存的人物名稱信息的圖像；

將所得到的文字信息作為所述視頻幀的對象信息。

4.根據權利要求3所述的方法，其特征在于，所述第一待檢圖像中存在文字信息的文字區域的數量為多個；

所述將所得到的文字區域作為待識別圖像，包括：

獲取所得到的多個文字區域在所述第一待檢圖像中的坐標信息，以及所述界面圖像中文字信息的分布方向；

基于每個文字區域的所述坐標信息，按照所述分布方向對所得到的多個文字區域進行拼接，得到待識別圖像。