[發(fā)明專利]視頻實(shí)時(shí)識(shí)別分割及檢測(cè)架構(gòu)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010945694.1
• 申請(qǐng)日: 2020-09-10
• 公開（公告）號(hào): CN111985456B
• 公開（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 景乃鋒;宋卓然;吳飛洋
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/94;G06V10/82;G06N3/04;H04N19/114;H04N19/176;H04N19/423;H04N19/513;G06F12/0875;G06F12/0895;G06F12/123
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 周涌賀

1.一種視頻實(shí)時(shí)識(shí)別分割及檢測(cè)架構(gòu)，其特征在于，包括主存以及通過總線分別與所述主存連接的視頻解碼器、視頻識(shí)別處理模塊和神經(jīng)網(wǎng)絡(luò)處理模塊；

所述視頻解碼器，用于對(duì)目標(biāo)視頻進(jìn)行解碼獲取解碼順序，并獲取目標(biāo)視頻的I類幀圖像數(shù)據(jù)、P類幀圖像數(shù)據(jù)和運(yùn)動(dòng)矢量表；

所述視頻識(shí)別處理模塊，用于基于所述運(yùn)動(dòng)矢量表存儲(chǔ)B類幀的運(yùn)動(dòng)矢量，并用于根據(jù)B幀圖像數(shù)據(jù)的參考幀中的所有圖像分割結(jié)果以及所有已獲取的B幀圖像數(shù)據(jù)的重建結(jié)果獲取B幀圖像數(shù)據(jù)的重建結(jié)果，進(jìn)而獲取B類幀的重建結(jié)果，或基于B幀圖像數(shù)據(jù)對(duì)應(yīng)的設(shè)定后的參考幀的圖像檢測(cè)結(jié)果、B幀的運(yùn)動(dòng)矢量以及已獲取的B幀圖像數(shù)據(jù)的重建結(jié)果獲取該B幀圖像數(shù)據(jù)的子重建結(jié)果，并對(duì)該B幀圖像數(shù)據(jù)的所有子重建結(jié)果進(jìn)行合并獲取B幀圖像數(shù)據(jù)的重建結(jié)果，進(jìn)而獲取B類幀的重建結(jié)果；所述神經(jīng)網(wǎng)絡(luò)處理模塊，用于利用第一預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)對(duì)I類幀圖像數(shù)據(jù)和P類幀圖像數(shù)據(jù)進(jìn)行分割得到I類幀圖像分割結(jié)果和P類幀圖像分割結(jié)果，利用第三預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)對(duì)I類幀圖像數(shù)據(jù)和P類幀圖像數(shù)據(jù)進(jìn)行檢測(cè)得到I類幀圖像檢測(cè)結(jié)果和P類幀圖像檢測(cè)結(jié)果，利用第二預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)對(duì)B類幀的重建結(jié)果、I類幀圖像分割結(jié)果和P類幀圖像分割結(jié)果進(jìn)行分割，得到B類幀的圖像分割結(jié)果，且利用第二預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)對(duì)B類幀的重建結(jié)果、設(shè)定后的I類幀圖像檢測(cè)結(jié)果、設(shè)定后的P類幀圖像檢測(cè)結(jié)果進(jìn)行檢測(cè)，得到B類幀的圖像檢測(cè)結(jié)果；

所述主存，用于對(duì)I類幀圖像數(shù)據(jù)、P類幀圖像數(shù)據(jù)、I類幀圖像分割結(jié)果、P類幀圖像分割結(jié)果、I類幀圖像檢測(cè)結(jié)果、P類幀圖像檢測(cè)結(jié)果、B類幀的重建結(jié)果、設(shè)定后的I類幀圖像檢測(cè)結(jié)果、設(shè)定后的P類幀圖像檢測(cè)結(jié)果、B類幀圖像分割結(jié)果以及B類幀的圖像檢測(cè)結(jié)果進(jìn)行存儲(chǔ)；

其中，所述目標(biāo)視頻的視頻編解碼標(biāo)準(zhǔn)為具有I幀圖像數(shù)據(jù)、B幀圖像數(shù)據(jù)和P幀圖像數(shù)據(jù)的分類，具有運(yùn)動(dòng)矢量表，且每幀圖像數(shù)據(jù)按預(yù)設(shè)方式分割成多個(gè)分割小塊；

所述B幀圖像數(shù)據(jù)的參考幀包括I幀圖像數(shù)據(jù)、P幀圖像數(shù)據(jù)和B幀圖像數(shù)據(jù)，所述設(shè)定后的I類幀圖像檢測(cè)結(jié)果中的I幀圖像數(shù)據(jù)檢測(cè)結(jié)果或設(shè)定后的P類幀圖像檢測(cè)結(jié)果中的P幀圖像數(shù)據(jù)檢測(cè)結(jié)果獲取過程包括：對(duì)B幀圖像數(shù)據(jù)所有參考幀的圖像檢測(cè)結(jié)果中所有已檢測(cè)框進(jìn)行分類排序，得到所述B幀圖像數(shù)據(jù)的待設(shè)定框排序，并基于所述B幀圖像數(shù)據(jù)的待設(shè)定框排序?qū)λ鯞幀圖像數(shù)據(jù)參考幀的圖像檢測(cè)結(jié)果進(jìn)行設(shè)定，獲取所述B幀圖像數(shù)據(jù)的設(shè)定后的參考幀的圖像檢測(cè)結(jié)果；

基于所述B幀圖像數(shù)據(jù)的待設(shè)定框排序?qū)λ鯞幀圖像數(shù)據(jù)參考幀的圖像檢測(cè)結(jié)果進(jìn)行設(shè)定包括：按待設(shè)定框排序?qū)⑺鯞幀圖像數(shù)據(jù)所有參考幀的圖像檢測(cè)結(jié)果中所有類已檢測(cè)框依次作為待設(shè)定框，且在每確定一次待設(shè)定框時(shí)，針對(duì)該待設(shè)定框構(gòu)建對(duì)應(yīng)的子重建結(jié)果過程包括；在所述B幀圖像數(shù)據(jù)所有具有待設(shè)定框的參考幀的圖像檢測(cè)結(jié)果中，設(shè)定待設(shè)定框及其內(nèi)部像素點(diǎn)為第一類顏色，并設(shè)定待設(shè)定框外的其它像素點(diǎn)為第二類顏色，獲取針對(duì)該待設(shè)定框的所述B幀圖像數(shù)據(jù)的設(shè)定后的參考幀的圖像檢測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的架構(gòu)，其特征在于，所述視頻識(shí)別處理模塊包括運(yùn)動(dòng)矢量存儲(chǔ)單元、控制單元、待設(shè)定框排序單元以及處理單元；

所述運(yùn)動(dòng)矢量存儲(chǔ)單元，用于基于所述運(yùn)動(dòng)矢量表對(duì)B類幀的運(yùn)動(dòng)矢量進(jìn)行存儲(chǔ)；

所述控制單元，用于按解碼順序依次將I幀圖像數(shù)據(jù)和P幀圖像數(shù)據(jù)的索引號(hào)及對(duì)應(yīng)的狀態(tài)信息存儲(chǔ)在第一隊(duì)列中，并按解碼順序依次將B幀圖像數(shù)據(jù)的索引號(hào)及對(duì)應(yīng)的狀態(tài)信息存儲(chǔ)在第二隊(duì)列中；

所述待設(shè)定框排序單元，用于獲取B幀圖像數(shù)據(jù)所有參考幀的圖像檢測(cè)結(jié)果，并對(duì)所述B幀圖像數(shù)據(jù)所有參考幀的圖像檢測(cè)結(jié)果中所有已檢測(cè)框進(jìn)行分類排序，得到該B幀圖像數(shù)據(jù)的待設(shè)定框排序；并基于所述B幀圖像數(shù)據(jù)的待設(shè)定框排序?qū)λ鯞幀圖像數(shù)據(jù)參考幀的圖像檢測(cè)結(jié)果進(jìn)行設(shè)定，獲取所述B幀圖像數(shù)據(jù)的設(shè)定后的參考幀的圖像檢測(cè)結(jié)果，并在處理單元獲取所述B幀圖像數(shù)據(jù)的所有子重建結(jié)果后對(duì)該B幀圖像數(shù)據(jù)的所有子重建結(jié)果進(jìn)行合并，得到所述B幀圖像數(shù)據(jù)的重建結(jié)果；

所述處理單元，用于根據(jù)B幀圖像數(shù)據(jù)的參考幀中的所有圖像分割結(jié)果以及所有已獲取的B幀圖像數(shù)據(jù)的重建結(jié)果獲取該B幀圖像數(shù)據(jù)的重建結(jié)果，或用于基于B幀圖像數(shù)據(jù)對(duì)應(yīng)的設(shè)定后的參考幀的圖像檢測(cè)結(jié)果、B幀的運(yùn)動(dòng)矢量以及已獲取的B幀圖像數(shù)據(jù)的重建結(jié)果獲取該B幀圖像數(shù)據(jù)的子重建結(jié)果。