[發(fā)明專利]一種基于活動輪廓的視頻編碼方法、系統(tǒng)、裝置及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110506334.6
• 申請日: 2021-05-10
• 公開（公告）號: CN113411582A
• 公開（公告）日: 2021-09-17
• 發(fā)明（設(shè)計）人: 梁燕慧;周智恒
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: H04N19/146
• 分類號: H04N19/146;H04N19/176;G06T5/40;G06T5/50;G06T7/11;G06T7/44
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 黎揚鵬

本發(fā)明公開了一種基于活動輪廓的視頻編碼方法、系統(tǒng)、裝置及介質(zhì)，其中方法包括以下步驟：獲取原始視頻，將所述原始視頻分割為多個視頻段落，將視頻段落中的視頻分成多幀視頻圖像；對所述視頻圖像進(jìn)行顯著性區(qū)域預(yù)測，獲得視頻圖像的顯著圖；根據(jù)顯著圖和活動輪廓對視頻圖像進(jìn)行分割；利用圖像分割結(jié)果和基于顯著性的編碼分塊策略，進(jìn)行視頻編碼。本發(fā)明通過運用顯著性檢測技術(shù)獲得用戶關(guān)注的區(qū)域，結(jié)合活動輪廓模型技術(shù)對視頻序列進(jìn)行分割，既保存了復(fù)雜場景中的視頻細(xì)節(jié)，同時也有效提高了視頻編碼效率，可廣泛應(yīng)用于圖像分割技術(shù)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像分割技術(shù)領(lǐng)域，尤其涉及一種基于活動輪廓的視頻編碼方法、系統(tǒng)、裝置及介質(zhì)。

背景技術(shù)

隨著數(shù)字新媒體和互聯(lián)網(wǎng)技術(shù)的發(fā)展，用戶對高清視頻的需求量逐漸增加，同時對視頻圖像分辨率的要求越來越高。目前人們常用的視頻圖像分辨率為1080P高清，正逐漸向4K和8K超清方向發(fā)展。然而，人們通過各種方式看到的各類視頻，均為經(jīng)過壓縮后的視頻。因為如果這些高分辨率的視頻未經(jīng)壓縮，則這些視頻將會具有相當(dāng)大的數(shù)據(jù)量。目前的數(shù)據(jù)傳輸速度無法承載如此大的數(shù)據(jù)量，難以用于實際的應(yīng)用與存儲。對于高分辨率且具有復(fù)雜場景的視頻，如何能夠在有限的網(wǎng)絡(luò)帶寬和存儲空間下，既能夠保留其視頻細(xì)節(jié)的同時，又能提高編碼效率則顯得尤為重要。

相對于傳統(tǒng)的視頻編碼來說，新一代基于內(nèi)容的多媒體數(shù)據(jù)壓縮編碼國際標(biāo)準(zhǔn)MPEG-4第一次提出了基于對象的視頻編碼新概念。MPEG-4實現(xiàn)基于內(nèi)容的交互的首要任務(wù)就是將視頻圖像分割成不同對象或者把運動對象從背景中分離出來，然后針對不同對象采用相應(yīng)編碼方法，以實現(xiàn)高效壓縮。根據(jù)大量人類視覺生理學(xué)和視覺心理學(xué)實驗表明，針對一幅視頻圖像，人眼往往會對內(nèi)容做出相對應(yīng)的選擇性和遷移性，即人眼會下意識地將一幅圖像劃分為若干個不同的區(qū)域，注意力也會最先集中在最感興趣的區(qū)域。若讓觀察者感興趣的區(qū)域，如圖像中高速運動、色彩鮮艷等圖像區(qū)域失真則會引起觀察者的強(qiáng)烈反饋。因此在面對復(fù)雜場景視頻內(nèi)容時，根據(jù)人眼感興趣的相關(guān)特征，預(yù)測用戶關(guān)注的區(qū)域并對其予以不同程度的編碼資源傾斜，有助于提高編碼壓縮效率。

現(xiàn)有的基于顯著性檢測的視頻編碼方法中，大多數(shù)采用目標(biāo)檢測、語義分割等基于深度學(xué)習(xí)的分割方法，而這些方法基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)來實現(xiàn)對目標(biāo)進(jìn)行分割。但基于CNN的分割方法存在的問題是很容易模糊或丟失圖像的邊界，特別是同時進(jìn)行用于捕獲高級語義和豐富的空間特征。現(xiàn)有的常用于顯著性檢測的方法為Salient ObjectDetection Networks(顯著目標(biāo)檢測網(wǎng)絡(luò))，此方法為基于在海量數(shù)據(jù)集上預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNNs)。在對于邊緣信息的處理上，相比于傳統(tǒng)的圖像活動輪廓分割方法，該方法基于深度學(xué)習(xí)的顯著性檢測方法仍有一定提升空間。同時該模型需要海量的數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，對設(shè)備的要求較高和計算量較大。

發(fā)明內(nèi)容

為至少一定程度上解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一，本發(fā)明的目的在于提供一種基于活動輪廓的視頻編碼方法、系統(tǒng)、裝置及介質(zhì)。

本發(fā)明所采用的技術(shù)方案是：

一種基于活動輪廓的視頻編碼方法，包括以下步驟：

獲取原始視頻，將所述原始視頻分割為多個視頻段落，將視頻段落中的視頻分成多幀視頻圖像；

對所述視頻圖像進(jìn)行顯著性區(qū)域預(yù)測，獲得視頻圖像的顯著圖；

根據(jù)顯著圖和活動輪廓對視頻圖像進(jìn)行分割；

利用圖像分割結(jié)果和基于顯著性的編碼分塊策略，進(jìn)行視頻編碼。

進(jìn)一步，所述對所述視頻圖像進(jìn)行顯著性區(qū)域預(yù)測，獲得視頻圖像的顯著圖，包括：

采用SLIC算法生成超像素，根據(jù)超像素對視頻圖像進(jìn)行分割；

提取分割后圖像的色彩特征和紋理特征；