[發明專利]一種網絡攝像機視頻質量提升方法

有效

• 申請號: 201910589896.4
• 申請日: 2019-07-02
• 公開（公告）號: CN110278415B
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 王宣銀;季佳宇;普彬;莫奇
• 申請（專利權）人: 浙江大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 應孔月

1.一種網絡攝像機視頻質量提升方法，其特征在于，包括如下步驟：

（1）初步視頻的獲取；

（2）對初步視頻的內容進行評估，采集視頻數據，標定構建數據集，使用卷積神經網絡和全連接網絡訓練，并使用顯著性算法進行特征的融合，得到符合人的感官的視頻質量評價模型，實時判斷網絡攝像機獲取的視頻質量；

所述步驟（2）包括如下子步驟：

（2.1）采集獲得視頻序列，對其進行不同程度和種類的降質處理，將處理后的視頻序列制作成數據集，對視頻序列質量進行標定；

（2.2）將步驟（2.1）的數據集進行分塊，得到多個小塊視頻，使用全參考圖像質量評價算法對小塊視頻進行評分；

（2.3）使用深度卷積神經網絡框架對步驟（2.2）處理后的數據進行訓練，獲得網絡參數；

（2.4）使用步驟（2.3）訓練獲得的網絡求取小塊視頻的特征，使用顯著性算法求取每個小塊視頻的顯著性分數，使用顯著性分數將小塊視頻特征進行加權融合為大視頻的特征；

（2.5）將步驟（2.4）中的大視頻特征輸入全連接網絡中，訓練輸出最后的評價分數；

（2.6）將步驟（2.3）和步驟（2.5）中的兩個網絡聯合訓練，優化獲得最后的網絡模型；

（3）對視頻質量滿足要求的視頻直接輸出，對不滿足要求的視頻進行基于超像素的多幀視頻優化處理，進行降幀優化，所述降幀優化包括如下子步驟：

（3.1）對于不滿足視頻質量的視頻序列，對于每一幀圖像使用超分辨率算法進行優化圖像質量；

（3.2）對于步驟（3.1）優化后的視頻序列，使用步驟（2）提出的視頻質量評價算法，進行二次評價，評價大塊視頻中，每一小塊的視頻質量；

（3.3）對于步驟（3.2）中再評價后仍不滿足要求的視頻塊，使用圖像拼接算法，將相鄰幀之間相同位置質量最好的視頻塊相互拼接在一起，多幀圖像組成一幀圖像，實現降幀優化視頻；

（4）將步驟（3）處理完的視頻通過網絡輸出。

2.根據權利要求1所述的網絡攝像機視頻質量提升方法，其特征在于：所述步驟（1）包括如下子步驟：

（1.1）外界光線通過鏡頭模組到達感光芯片模組，使光信號轉化為電信號，產生視頻信號

（1.2）初始視頻信號通過圖像處理算法，獲得初步的視頻。

3.根據權利要求2所述的網絡攝像機視頻質量提升方法，其特征在于：所述步驟（1.2）中，圖像處理算法為：自動曝光、自動白平衡、寬動態算法。

4.根據權利要求1所述的網絡攝像機視頻質量提升方法，其特征在于：所述步驟（2.2）中，全參考圖像質量評價算法選自：特征相似度（FSIM）、結構相似性（SSIM）、梯度幅度相似性偏差（GMSD）。

5.根據權利要求1所述的網絡攝像機視頻質量提升方法，其特征在于：所述步驟（2.3）中，深度卷積神經網絡選自：AlexNet網絡、VGG網絡、ResNet網絡。

6.根據權利要求1所述的網絡攝像機視頻質量提升方法，其特征在于：所述步驟（2.4）中，顯著性算法選自：譜殘差（SR）、基于圖形的流形排序（GBMR）。

7.根據權利要求1所述的網絡攝像機視頻質量提升方法，其特征在于：所述步驟（3.1）的超分辨率優化算法選自：超分辨率卷積神經網絡（SRCNN）,高效亞像素卷積神經網絡（ESPCN）,超分辨率對抗生成網絡（SRGAN）。

8.根據權利要求1所述的網絡攝像機視頻質量提升方法，其特征在于：所述步驟（3.3）的圖像拼接算法選自：基于Harris角點檢測器的拼接、基于FAST角點檢測器的拼接、基于SIFT特征檢測器的拼接、以及基于SURF特征檢測器的拼接。