[發(fā)明專利]一種多光譜與全色圖像聯(lián)合配準與模糊核估計方法與系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110542741.2
• 申請日: 2021-05-19
• 公開（公告）號: CN112990164B
• 公開（公告）日: 2021-07-27
• 發(fā)明（設計）人: 李樹濤;郭安靜;佃仁偉;康旭東
• 申請（專利權）人: 湖南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 譚武藝

1.一種多光譜與全色圖像聯(lián)合配準與模糊核估計方法，其特征在于，包括：

1）建立圖像偏移量學習子網(wǎng)絡，以根據(jù)輸入的多光譜圖像、全色圖像得到全色圖像相對多光譜圖像的圖像偏移量；根據(jù)多光譜圖像、已配準全色圖像之間的空間和光譜聯(lián)系建立空間和光譜模糊核估計子網(wǎng)絡以估計空間模糊核與光譜模糊核；

2）連接所述圖像偏移量學習子網(wǎng)絡、空間和光譜模糊核估計子網(wǎng)絡，得到可端到端訓練的多光譜、全色圖像配準與模糊核估計網(wǎng)絡；

3）結合遙感衛(wèi)星原始全色圖像與多光譜圖像構建訓練數(shù)據(jù)集，通過訓練數(shù)據(jù)集訓練優(yōu)化多光譜、全色圖像配準與模糊核估計網(wǎng)絡，訓練完成得到空間模糊核與光譜模糊核；

步驟1）中建立的圖像偏移量學習子網(wǎng)絡包括：

一個邊緣擴充層，用于對輸入的多光譜圖像做邊緣擴充，使之能在縮放的時候保持正確的位置和比例關系；

一個通道平均層，用于對邊緣擴充后的多光譜圖像做通道平均，壓縮為單通道圖像，降低計算參數(shù)量，使得訓練更加穩(wěn)定；

一個圖片縮放層，用于對經(jīng)過通道平均的多光譜圖像進行放大操作；

一個堆疊層，用于將輸入的全色圖像、放大的多光譜圖像堆疊在一起得到堆疊特征F₁；

兩個空洞卷積層，用于依次對堆疊特征F₁進一步特征提取得到擴大感受野特征F₂；

兩個常規(guī)卷積層，用于依次對擴大感受野特征F₂進一步特征提取并回歸出全色圖像每個像素在行、列兩個方向上的偏移量，從而得到全色圖像相對多光譜圖像的圖像偏移量F₃；

步驟2）中連接所述圖像偏移量學習子網(wǎng)絡、空間和光譜模糊核估計子網(wǎng)絡具體是指將圖像偏移量學習子網(wǎng)絡輸出的全色圖像相對多光譜圖像的圖像偏移量對全色圖像重采樣，得到已配準全色圖像，將已配準全色圖像作為空間和光譜模糊核估計子網(wǎng)絡的一路輸入，將輸入圖像偏移量學習子網(wǎng)絡的多光譜圖像同時作為空間和光譜模糊核估計子網(wǎng)絡的另一路輸入；

將圖像偏移量學習子網(wǎng)絡輸出的全色圖像相對多光譜圖像的圖像偏移量對全色圖像重采樣的步驟包括：針對輸入的全色圖像上的任意坐標為(x,y)的像素p，根據(jù)對應在行、列兩個方向上的偏移量為(Δx, Δy)計算得到已配準全色圖像中對應的坐標為(x+Δx,y+Δy)的像素p′；針對每一個像素p′的坐標對其向上、向下取整得到相鄰像素點的坐標分別為p′_tl([x+Δx],[y+Δy]),p′_tr([x+Δx],[y+Δy+1]),p′_bl([x+Δx+1],[y+Δy]),p′_br([x+Δx+1],[y+Δy+1])，其中p′_tl,p′_tr,p′_bl,p′_br分別為左上、右上、左下、右下的相鄰像素點，然后根據(jù)左上、右上、左下、右下的相鄰像素點p′_tl,p′_tr,p′_bl,p′_br插值得到像素p′的新像素值。