[發(fā)明專利]視頻畫面中對(duì)象的信息的獲取方法、裝置及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201911409025.6
• 申請(qǐng)日: 2019-12-31
• 公開（公告）號(hào): CN111147891B
• 公開（公告）日: 2022-09-13
• 發(fā)明（設(shè)計(jì)）人: 肖丁
• 申請(qǐng)（專利權(quán)）人: 杭州威佩網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): H04N21/234
• 分類號(hào): H04N21/234;H04N21/44;G06V20/40;G06K9/62
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 孫翠賢;丁蕓

本發(fā)明實(shí)施例提供的一種視頻畫面中對(duì)象的信息的獲取方法、裝置及設(shè)備，獲取視頻中的視頻幀以及所述視頻幀的畫面類型；所述畫面類型包括：待識(shí)別對(duì)象為文字對(duì)象的文字類型，以及待識(shí)別對(duì)象為人物對(duì)象的人物類型；利用與所述畫面類型對(duì)應(yīng)的識(shí)別模型，從所述視頻幀中識(shí)別與所述畫面類型對(duì)應(yīng)的預(yù)存對(duì)象信息匹配的內(nèi)容，作為所述視頻幀的對(duì)象信息；基于所述視頻中各視頻幀的對(duì)象信息，獲得所述視頻的視頻畫面中對(duì)象的信息。通過本方案，可以自動(dòng)獲取視頻畫面中對(duì)象的信息。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識(shí)別技術(shù)領(lǐng)域，特別是涉及一種視頻畫面中對(duì)象的信息的獲取方法、裝置及設(shè)備。

背景技術(shù)

隨著視頻技術(shù)的發(fā)展，視頻畫面呈現(xiàn)的內(nèi)容可以包括多樣化的對(duì)象，例如，文字形式的內(nèi)容：文字對(duì)象；人像形式的內(nèi)容：人物對(duì)象等等。并且，示例性的，視頻畫面中文字對(duì)象的對(duì)象信息具體可以包括：影視劇中的演職人員名稱和角色名稱，比賽視頻中比賽選手的名稱等等；人物對(duì)象的對(duì)象信息具體可以包括：影視劇中的人像代表的演員名稱、角色名稱以及演員作品等等，比賽視頻中的人像代表的參賽選手名稱、所在陣營(yíng)以及國(guó)籍等等信息。

對(duì)此，為了使視頻的觀眾以及視頻評(píng)價(jià)平臺(tái)等等存在視頻畫面中對(duì)象的信息獲取需求的主體，能夠直觀以及快速地了解視頻畫面中對(duì)象的信息，需要自動(dòng)獲取視頻畫面中對(duì)象的信息。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種視頻畫面中對(duì)象的信息的獲取方法、裝置及設(shè)備，以實(shí)現(xiàn)自動(dòng)獲取視頻畫面中對(duì)象的信息的效果。具體技術(shù)方案如下：

第一方面，本發(fā)明實(shí)施例提供了一種視頻畫面中對(duì)象的信息的獲取方法，該方法包括：

獲取視頻中的視頻幀以及所述視頻幀的畫面類型；所述畫面類型包括：待識(shí)別對(duì)象為文字對(duì)象的文字類型，以及待識(shí)別對(duì)象為人物對(duì)象的人物類型；

利用與所述畫面類型對(duì)應(yīng)的識(shí)別模型，從所述視頻幀中識(shí)別與所述畫面類型對(duì)應(yīng)的預(yù)存對(duì)象信息匹配的內(nèi)容，作為所述視頻幀的對(duì)象信息；

基于所述視頻中各視頻幀的對(duì)象信息，獲得所述視頻的視頻畫面中對(duì)象的信息。

可選的，所述獲取視頻中視頻幀的畫面類型，包括：

獲取所述視頻幀的時(shí)間戳；所述時(shí)間戳用于表明所述視頻幀在所述視頻中的播放時(shí)間點(diǎn)；

從所述視頻對(duì)應(yīng)的預(yù)存的時(shí)間戳與畫面類型的對(duì)應(yīng)關(guān)系中，查找所述視頻幀的時(shí)間戳對(duì)應(yīng)的畫面類型，作為所述視頻幀的畫面類型。

可選的，與所述文字類型對(duì)應(yīng)的預(yù)存對(duì)象信息包括：預(yù)存的人物名稱信息；

所述利用與所述畫面類型對(duì)應(yīng)的識(shí)別模型，從所述視頻幀中識(shí)別與所述畫面類型對(duì)應(yīng)的預(yù)存對(duì)象信息匹配的內(nèi)容，作為所述視頻幀的對(duì)象信息，包括：

獲取所述文字類型的視頻幀中第一指定區(qū)域的圖像，作為第一待檢圖像；

利用預(yù)先訓(xùn)練得到的第一神經(jīng)網(wǎng)絡(luò)模型，對(duì)所述第一待檢圖像進(jìn)行文本檢測(cè)，得到所述第一待檢圖像中存在文字信息的文字區(qū)域，并將所得到的文字區(qū)域作為待識(shí)別圖像；其中，所述第一神經(jīng)網(wǎng)絡(luò)模型為利用第一樣本圖像和所述第一樣本圖像中文字區(qū)域的標(biāo)注框訓(xùn)練得到的；

利用預(yù)先訓(xùn)練得到的第二神經(jīng)網(wǎng)絡(luò)模型，對(duì)所述待識(shí)別圖像進(jìn)行文本識(shí)別，得到所述待識(shí)別圖像中的文字信息；其中，所述第二神經(jīng)網(wǎng)絡(luò)模型為利用第二樣本圖像和所述第二樣本圖像中的人物名稱信息訓(xùn)練得到的；所述第二樣本圖像為存在所述預(yù)存的人物名稱信息的圖像；

將所得到的文字信息作為所述視頻幀的對(duì)象信息。

可選的，所述第一待檢圖像中存在文字信息的文字區(qū)域的數(shù)量為多個(gè)；

所述將所得到的文字區(qū)域作為待識(shí)別圖像，包括：