[發(fā)明專利]一種圖像超分辨率重構(gòu)方法

在審

• 申請?zhí)枺?/td>: 201710488265.4
• 申請日: 2017-06-23
• 公開（公告）號: CN107481188A
• 公開（公告）日: 2017-12-15
• 發(fā)明（設(shè)計）人: 袁虹;潘磊;翟懿奎;劉健;商麗娟
• 申請（專利權(quán)）人: 珠海經(jīng)濟特區(qū)遠宏科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62;G06N3/08
• 代理公司: 廣州三環(huán)專利商標代理有限公司44202
• 代理人: 溫旭

1.一種圖像超分辨率重構(gòu)方法，其特征在于，包括：

(1)聯(lián)合交替訓練Faster-RCNN神經(jīng)網(wǎng)絡(luò)中的RPN神經(jīng)網(wǎng)絡(luò)和Fast-RCNN神經(jīng)網(wǎng)絡(luò)并將訓練得到的Faster-RCNN神經(jīng)網(wǎng)絡(luò)模型對輸入圖片中的人臉、車牌、物體目標進行檢測，輸出所述輸入圖片中檢測到的人臉、車牌、物體的位置坐標和對應的標簽；根據(jù)所述的位置坐標和標簽信息，對輸入圖片中人臉、車牌、物體三類目標圖片進行裁剪，并將裁剪得到的圖片進行尺度變換，得到符合輸入要求的人臉、車牌、物體三類低分辨率圖片；

(2)分別針對人臉、車牌、物體圖像訓練集對深度卷積神經(jīng)網(wǎng)絡(luò)進行訓練，得到針對人臉、車牌、物體三者超分辨率重構(gòu)神經(jīng)網(wǎng)絡(luò)模型；將所述低分辨率圖片輸入到所述超分辨率重構(gòu)網(wǎng)絡(luò)模型，得到所述低分辨率圖片對應的高分辨率圖片。

2.根據(jù)權(quán)利要求1所述的圖像超分辨率重構(gòu)方法，其特征在于，在步驟(1)中，所述Faster-RCNN神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建步驟包括：

(101a)分別為人臉、車牌、物體三個不同的目標構(gòu)建帶有標注和標簽的圖片庫作為訓練數(shù)據(jù)集和測試數(shù)據(jù)集，采用Faster-RCNN算法，分別為人臉、車牌和物體訓練一個基于多個預選框的RPN卷積神經(jīng)網(wǎng)絡(luò)和一個Fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)，在RPN神經(jīng)網(wǎng)絡(luò)和Fast-RCNN神經(jīng)網(wǎng)絡(luò)中，前5個卷積層的參數(shù)設(shè)置為相同；

(101b)用包含有帶標注的人、車輛和物體的訓練數(shù)據(jù)集對所述RPN卷積神經(jīng)網(wǎng)絡(luò)和Fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)進行訓練，然后將訓練好的RPN神經(jīng)網(wǎng)絡(luò)用來對訓練集圖片進行處理，得到多個針對人臉、車牌和物體三個不同目標的預選框；

(101c)將訓練集圖片和所述針對人臉、車牌和物體的多個預選框同時送入訓練好的Fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)，根據(jù)Fast-RCNN神經(jīng)網(wǎng)絡(luò)的輸出對不同的預選框進行打分判斷針對于人臉、車牌和物體的所述預選框是否為最佳選擇區(qū)域，如果是，則將預選框的目標判別為對應打分最高的目標，得到人臉、車牌和物體在圖片中的最終區(qū)域。

3.根據(jù)權(quán)利要求1所述的圖像超分辨率重構(gòu)方法，其特征在于，在步驟(1)所述對RPN卷積神經(jīng)網(wǎng)絡(luò)和Fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)進行訓練的具體步驟如下：

(102a)根據(jù)對人臉、車牌和物體的檢測任務(wù)設(shè)計RPN卷積神經(jīng)網(wǎng)絡(luò)和Fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)，所述RPN卷積神經(jīng)網(wǎng)絡(luò)和所述Fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)同屬于一個網(wǎng)絡(luò)結(jié)構(gòu)；

(102b)對RPN卷積神經(jīng)網(wǎng)絡(luò)進行初始化，所述初始化采用的方法為對RPN神經(jīng)網(wǎng)絡(luò)中的參數(shù)用均值為0，方差為0.1的高斯隨機參數(shù)進行初始化；

(102c)對于輸入訓練圖片上的每一個點設(shè)置多個尺度和不同比例的候選框，輸入訓練集圖片中的基準框，通過對比初始化后卷積神經(jīng)網(wǎng)絡(luò)對于輸入訓練圖片的輸出與訓練數(shù)據(jù)圖片本來的標注，采用反向傳播算法對神經(jīng)網(wǎng)絡(luò)參數(shù)進行調(diào)整，最終使得損失函數(shù)最小；

(102d)在所有訓練集圖片上訓練卷積神經(jīng)網(wǎng)絡(luò)，得到輸入圖片集中相對于人臉、車牌和物體三類物體的粗候選框，并對于每一類圖片標上類別標簽；

(102e)對Fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)同樣采用均值為0，方差為0.1的高斯隨機數(shù)進行初始化，F(xiàn)ast-RCNN卷積神經(jīng)網(wǎng)絡(luò)的輸入為在(102d)步驟中得到的圖片粗候選框，再結(jié)合訓練集圖片上的標注和標簽，對所述Fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)進行訓練，得到訓練后的卷積神經(jīng)網(wǎng)路模型；

(102f)重新訓練RPN卷積神經(jīng)網(wǎng)絡(luò)，將所述網(wǎng)絡(luò)前面特定層數(shù)的卷積層的學習速率設(shè)置為0，參數(shù)采用(102e)步驟中經(jīng)過訓練得到的Fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)前面特定個數(shù)的卷積層的參數(shù)，經(jīng)過訓練得到新的RPN卷積神經(jīng)網(wǎng)絡(luò)模型；

(102g)在訓練集圖片上采用新訓練好的RPN卷積神經(jīng)網(wǎng)絡(luò)，重新得到訓練集樣本中人臉、車牌和物品的粗候選框；

(102h)重新訓練Fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)，將所述Fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)的前面特定個數(shù)的卷積層的參數(shù)設(shè)置為0，參數(shù)采用(102g)步驟中經(jīng)過訓練得到RPN卷積神經(jīng)網(wǎng)絡(luò)前面特定個數(shù)的層卷積層的參數(shù)，輸入訓練集樣本和(102g)中的所述粗候選框，訓練得到新的Fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)。