[發(fā)明專利]一種低碼率視頻重構(gòu)方法、系統(tǒng)、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210007865.5
• 申請日: 2022-01-06
• 公開（公告）號: CN114025118A
• 公開（公告）日: 2022-02-08
• 發(fā)明（設(shè)計(jì)）人: 林自強(qiáng);李明;林韶文;梁廣;李華;梁志祥;高楊;趙曉寧;王泰然;黃偉豪;王錦濱;熊激川
• 申請（專利權(quán)）人: 廣東電網(wǎng)有限責(zé)任公司中山供電局
• 主分類號: H04N7/01
• 分類號: H04N7/01
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 楊小紅

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，公開了一種低碼率視頻重構(gòu)方法、系統(tǒng)、電子設(shè)備及存儲介質(zhì)，其方法通過對待重構(gòu)視頻進(jìn)行解幀處理，從而得到若干幀待重構(gòu)圖像，基于分塊采樣網(wǎng)絡(luò)對每個待重構(gòu)圖像進(jìn)行分割處理，得到若干個圖像塊，并采用統(tǒng)一的測量矩陣對若干個圖像塊進(jìn)行測量，得到相應(yīng)的觀測值向量，通過若干個圖像塊的測量矩陣構(gòu)成待重構(gòu)圖像的總觀測矩陣，從而大大降低計(jì)算量，提高視頻重構(gòu)效率，還采用MMSE線性估計(jì)算法進(jìn)行線性融合得到初始重構(gòu)圖像，并通過特征取提取網(wǎng)絡(luò)提取初始重構(gòu)圖像中的特征圖，將特征圖依次通過殘差網(wǎng)絡(luò)和卷積重構(gòu)網(wǎng)絡(luò)進(jìn)行特征重構(gòu)，以得到重構(gòu)圖像，以提高重構(gòu)后的視頻碼率效果。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種低碼率視頻重構(gòu)方法、系統(tǒng)、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

目前電力行業(yè)對于電力作業(yè)的現(xiàn)場安監(jiān)工作大部分采用遠(yuǎn)程視頻監(jiān)控方式進(jìn)行。由于作業(yè)地點(diǎn)分布廣泛，作業(yè)量頻繁，電力行業(yè)的作業(yè)現(xiàn)場監(jiān)控系統(tǒng)面臨了巨大數(shù)據(jù)傳輸壓力。為了減少網(wǎng)絡(luò)傳輸?shù)膲毫Γ厝灰獙σ曨l進(jìn)行壓縮后傳輸。

目前，傳統(tǒng)的壓縮感知重構(gòu)算法在一定程度上解決了圖像重構(gòu)方面的缺陷，比如：抗干擾能力差、復(fù)雜度高、浪費(fèi)資源等問題，但是，傳統(tǒng)的壓縮感知重構(gòu)算法計(jì)算量較大，導(dǎo)致視頻重構(gòu)效率較低，同時，對于重構(gòu)后的視頻碼率效果仍較差。

發(fā)明內(nèi)容

本發(fā)明提供了一種低碼率視頻重構(gòu)方法、系統(tǒng)、電子設(shè)備及存儲介質(zhì)，解決了視頻重構(gòu)效率較低且重構(gòu)后的視頻碼率效果較差的技術(shù)問題。

有鑒于此，本發(fā)明第一方面提供了一種低碼率視頻重構(gòu)方法，包括以下步驟：

對待重構(gòu)視頻進(jìn)行解幀處理，從而得到若干幀待重構(gòu)圖像，從而構(gòu)成待重構(gòu)圖像序列集；

基于分塊采樣網(wǎng)絡(luò)對所述待重構(gòu)圖像序列集中的每個待重構(gòu)圖像進(jìn)行分割處理，得到若干個圖像塊，采用統(tǒng)一的測量矩陣對若干個圖像塊進(jìn)行測量，得到相應(yīng)的觀測值向量，通過若干個圖像塊的測量矩陣構(gòu)成待重構(gòu)圖像的總觀測矩陣；

采用 MMSE線性估計(jì)算法對所述觀測值向量和所述總觀測矩陣進(jìn)行線性融合，從而得到初始重構(gòu)圖像；

基于特征取提取網(wǎng)絡(luò)對所述初始重構(gòu)圖像進(jìn)行特征提取，從而得到特征圖；

通過殘差網(wǎng)絡(luò)對所述特征圖進(jìn)行下采樣操作，得到下采樣后的特征圖；

通過卷積重構(gòu)網(wǎng)絡(luò)對所述下采樣后的特征圖進(jìn)行特征重構(gòu)，從而得到重構(gòu)圖像。

優(yōu)選地，基于分塊采樣網(wǎng)絡(luò)對所述待重構(gòu)圖像序列集中的每個待重構(gòu)圖像進(jìn)行分割處理，得到若干個圖像塊，采用統(tǒng)一的測量矩陣對若干個圖像塊進(jìn)行測量，得到相應(yīng)的觀測值向量，通過若干個圖像塊的測量矩陣構(gòu)成待重構(gòu)圖像的總觀測矩陣的步驟具體包括：

基于分塊采樣網(wǎng)絡(luò)對所述待重構(gòu)圖像序列集中的每個待重構(gòu)圖像進(jìn)行分割處理，得到個圖像塊，每個圖像塊的尺寸一致且不重疊；

采用統(tǒng)一的測量矩陣對若干個圖像塊進(jìn)行測量，得到相應(yīng)的觀測值向量，記為，則有：

式中，表示測量矩陣，采用二進(jìn)制稀疏矩陣作為測量矩陣，表示圖像塊的列向量，，N表示待重構(gòu)圖像的像素總個數(shù)；

通過 個圖像塊的測量矩陣構(gòu)成待重構(gòu)圖像的總觀測矩陣為：

。

優(yōu)選地，所述初始重構(gòu)圖像表示為：

式中，，其中，為輸入待重構(gòu)圖像的自相關(guān)函數(shù)，自相關(guān)函數(shù)的計(jì)算過程為：

計(jì)算待重構(gòu)圖像的各像素與其距離為m的4個像素的平均值之差，則得到：

式中，表示當(dāng)前像素與其距離為m的4個像素的平均值之差，表示當(dāng)前像素的坐標(biāo)值，、、和分別表示當(dāng)前像素距離為m的像素的坐標(biāo)值；

將與其 4 個相鄰像素?cái)?shù)值的平均值相乘，得到自相關(guān)函數(shù)為：

式中，為待重構(gòu)圖像中相互距離為m的像素的坐標(biāo)集合。