[發(fā)明專利]一種視頻顯著性檢測方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210584580.8
• 申請(qǐng)日: 2022-05-26
• 公開（公告）號(hào): CN114782878A
• 公開（公告）日: 2022-07-22
• 發(fā)明（設(shè)計(jì)）人: 楊威;楊金鋒;景曉軍;袁航;江巧捷;曾晶
• 申請(qǐng)（專利權(quán)）人: 廣東南方電信規(guī)劃咨詢?cè)O(shè)計(jì)院有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/46;G06V10/764;G06V10/30;G06K9/62
• 代理公司: 深圳市凱達(dá)知識(shí)產(chǎn)權(quán)事務(wù)所 44256
• 代理人: 王琦

本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，公開了一種視頻顯著性檢測方法，通過使用視線跟蹤數(shù)據(jù)庫，對(duì)其中的所有視頻的深度、位分配和運(yùn)動(dòng)向量等特征從相應(yīng)的VVC比特流中提取并進(jìn)行計(jì)算。接著，為每個(gè)視頻幀生成這些特征的地圖。然后，將上述這些特征經(jīng)過濾波器進(jìn)行優(yōu)化，并通過非線性二分類的方法訓(xùn)練數(shù)據(jù)。最后，通過顯著性映射和處理，完成顯著性檢測，從而實(shí)現(xiàn)了快速準(zhǔn)確地進(jìn)行顯著性檢測，減小算法計(jì)算量，提高檢測效率。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及一種視頻顯著性檢測方法。

背景技術(shù)

隨著計(jì)算機(jī)視覺領(lǐng)域的飛速發(fā)展，顯著性物體檢測在近年來作為視覺感知的注意力模擬方向得到廣泛關(guān)注。人眼視覺感知系統(tǒng)可以快速精準(zhǔn)地定位到視覺場景中具有高區(qū)分度的、吸引人關(guān)注的物體或場景區(qū)域。這種高效的視覺注意力機(jī)制引發(fā)了計(jì)算機(jī)視覺領(lǐng)域?qū)θ搜垡曈X感知能力的模擬、研究與探索。人眼視覺注意力機(jī)制通過對(duì)視覺空間內(nèi)的局部信息進(jìn)行分析整合，建立對(duì)整個(gè)視覺場景的理解。

視頻顯著性檢測是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)熱點(diǎn)研究方向，近年來引起了廣泛的研究興趣。這種日益流行的原因在于在各種視覺任務(wù)中有效地使用了這些模型，顯著性檢測作為一種有效的預(yù)處理技術(shù)已被廣泛應(yīng)用于檢索、識(shí)別、分割、重定向、增強(qiáng)、行人檢測、評(píng)價(jià)、壓縮等眾多計(jì)算機(jī)視覺任務(wù)。場景的顯著性區(qū)域通常包含了人類感興趣的重要目標(biāo)或最能表達(dá)圖像的內(nèi)容，是能夠在較短時(shí)間內(nèi)吸引人的視覺注意力的區(qū)域，而顯著性檢測就是找出這些感興趣目標(biāo)或區(qū)域的過程。其目的在于通過聯(lián)合空間和時(shí)間信息實(shí)現(xiàn)視頻序列中與運(yùn)動(dòng)相關(guān)的顯著性目標(biāo)的連續(xù)提取。由于視頻序列中目標(biāo)運(yùn)動(dòng)模式多樣、場景復(fù)雜以及存在相機(jī)運(yùn)動(dòng)等,使得視頻顯著性檢測極具挑戰(zhàn)性。基于底層線索的方法一直是視頻顯著性檢測領(lǐng)域的主流方法，該類方法從底層線索出發(fā)，提取視頻的運(yùn)動(dòng)特征，探索視頻的視覺先驗(yàn)信息，挖掘視頻的幀間關(guān)系，并結(jié)合視頻的空時(shí)信息，建立顯著性檢測模型。該類方法不需要進(jìn)行訓(xùn)練學(xué)習(xí)，操作簡單方便，是一類基礎(chǔ)的檢測方法。但是，由于運(yùn)動(dòng)場景的更新、目標(biāo)尺寸的變化以及拍攝視角的切換，使得該類方法的檢測準(zhǔn)確率遠(yuǎn)遠(yuǎn)沒有達(dá)到理想的要求，有待進(jìn)一步的提高和完善。此類方法可進(jìn)一步劃分為基于變換分析的方法、基于稀疏表示的方法、基于信息論的方法和基于視覺先驗(yàn)的方法。具體地，基于變換分析的方法一般通過數(shù)學(xué)變換提取視頻序列的有用信息；基于稀疏表示的方法則以稀疏表示為基礎(chǔ)，通過挖掘顯著性區(qū)域的稀疏系數(shù)特性；基于信息論的方法通常利用自信息、信息熵、條件熵等概念研究信息量與顯著性的關(guān)系；基于視覺先驗(yàn)的方法，受人類視覺感知系統(tǒng)啟發(fā),許多視覺先驗(yàn)信息被應(yīng)用等。

此外，基于學(xué)習(xí)的檢測方法也受到了研究學(xué)者的廣泛關(guān)注。特別是隨著深度學(xué)習(xí)技術(shù)的發(fā)展和成熟，已有多項(xiàng)工作利用深度學(xué)習(xí)實(shí)現(xiàn)了視頻的顯著性檢測，大幅度地提高了算法的性能。有學(xué)者提出了通過有監(jiān)督的學(xué)習(xí)來檢測圖像或連續(xù)圖像中的顯著性目標(biāo)。近年來，深度學(xué)習(xí)技術(shù)蓬勃發(fā)展，已被廣泛應(yīng)用于許多方面。因此，也出現(xiàn)了基于深度學(xué)習(xí)的視頻顯著性檢測算法。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種視頻顯著性檢測方法，能夠準(zhǔn)確完成視頻顯著性檢測，提高檢測效率。

本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的：

一種視頻顯著性檢測方法，包括以下步驟：

101、采用VVC編碼器進(jìn)行編碼，通過使用視線跟蹤數(shù)據(jù)庫，對(duì)數(shù)據(jù)庫的所有視頻的深度、位分配和運(yùn)動(dòng)向量從相應(yīng)的VVC比特流中提取并進(jìn)行計(jì)算；其中，所述視線跟蹤數(shù)據(jù)庫包含不同分辨率的各類型視頻；

102、在VTM4(VVC Test model 4)中，使用一種基于塊的仿射運(yùn)動(dòng)補(bǔ)償預(yù)測，具體的，一個(gè)塊的仿射運(yùn)動(dòng)域由兩個(gè)控制點(diǎn)(Control Point)組成的四參數(shù)模型或三個(gè)控制點(diǎn)(Control Point)組成的六參數(shù)模型運(yùn)動(dòng)矢量來表示；Merge mode with MVD又叫做UMVE，在選擇運(yùn)動(dòng)矢量候選列表(MV Candidate)之后，UMVE會(huì)以此為起點(diǎn)做更精細(xì)的運(yùn)動(dòng)搜索，而在碼流中只需要傳送器對(duì)應(yīng)的Index即可，然后，為每個(gè)視頻幀生成這些特征的地圖；