[發(fā)明專利]圖像修補(bǔ)方法、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011307236.1
• 申請(qǐng)日: 2020-11-20
• 公開（公告）號(hào): CN114549329A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 王藝偉;伊紅;劉麗艷;王煒
• 申請(qǐng)（專利權(quán)）人: 株式會(huì)社理光
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T5/50;G06T7/223;G06T7/49;G06T7/90
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 安之斐

1.一種圖像修補(bǔ)方法，包括：

分別基于對(duì)于同一個(gè)空間拍攝得到的第一全景圖像和第二全景圖像，確定第一組三維布局圖和第二組三維布局圖，其中所述第一全景圖像和所述第二全景圖像的拍攝位置不同，所述第一組三維布局圖和所述第二組三維布局圖均包括能夠體現(xiàn)出所述空間的結(jié)構(gòu)的多張圖像；

在第一組三維布局圖中，確定目標(biāo)對(duì)象所位于的一張圖像作為待修補(bǔ)圖像，并且在第二組三維布局圖中，確定所述目標(biāo)對(duì)象所位于的一張圖像作為參考圖像，其中當(dāng)拍攝所述第一全景圖像時(shí)所述目標(biāo)對(duì)象在所述空間中的位置與當(dāng)拍攝所述第二全景圖像時(shí)所述目標(biāo)對(duì)象在所述空間中的位置不同；

在所述參考圖像中，確定與所述待修補(bǔ)圖像中包含目標(biāo)對(duì)象的區(qū)域匹配的、不包含所述目標(biāo)對(duì)象的經(jīng)匹配區(qū)域；以及

通過以所述參考圖像中的經(jīng)匹配區(qū)域替換所述待修補(bǔ)圖像中的包含所述目標(biāo)圖像的區(qū)域，生成經(jīng)修補(bǔ)圖像。

2.根據(jù)權(quán)利要求1所述的方法，其中在所述參考圖像中，確定與所述待修補(bǔ)圖像中包含目標(biāo)對(duì)象的區(qū)域匹配的、不包含所述目標(biāo)對(duì)象的經(jīng)匹配區(qū)域，包括：

確定所述目標(biāo)對(duì)象在所述待修補(bǔ)圖像和所述參考圖像中的第一位置和第二位置；

分別在所述待修補(bǔ)圖像和所述參考圖像中，確定包含所述第一位置和所述第二位置的重疊區(qū)域，作為第一匹配區(qū)域和第二匹配區(qū)域；

在所述第一匹配區(qū)域與所述第二匹配區(qū)域之間進(jìn)行特征點(diǎn)匹配，以確定變換矩陣；

基于所述變換矩陣，將所述第二匹配區(qū)域變換為第三匹配區(qū)域；以及

通過在所述第三匹配區(qū)域中，去除包含所述目標(biāo)對(duì)象的區(qū)域，來生成所述經(jīng)匹配區(qū)域。

3.根據(jù)權(quán)利要求2所述的方法，其中基于所述第一位置和所述第二位置，分別在所述待修補(bǔ)圖像和所述參考圖像中，確定包含所述第一位置和所述第二位置的重疊區(qū)域，作為第一匹配區(qū)域和第二匹配區(qū)域，包括：

在所述待修補(bǔ)圖像中，標(biāo)注所述第二位置，確定以所述第一位置為中心的第一區(qū)域和以所述第二位置為中心的第二區(qū)域，并將所述第一區(qū)域和所述第二區(qū)域的重疊區(qū)域作為所述第一匹配區(qū)域；以及

在所述參考圖像中，標(biāo)注所述第一位置，確定以所述第一位置為中心的第三區(qū)域和以所述第二位置為中心的第四區(qū)域，并將所述第三區(qū)域和所述第四區(qū)域的重疊區(qū)域作為所述第二匹配區(qū)域。

4.根據(jù)權(quán)利要求3所述的方法，其中確定以所述第一位置為中心的第一區(qū)域和以所述第二位置為中心的第二區(qū)域，包括：

以所述第一位置為中心，以所述第一位置和所述第二位置的連線為對(duì)角線方向，且以所述第一位置和所述第二位置之間的距離與第一系數(shù)的乘積作為對(duì)角線長度的一半，繪制矩形作為所述第一區(qū)域；以及

以所述第二位置為中心，以所述第一位置和所述第二位置的連線為對(duì)角線方向，且以所述第一位置和所述第二位置之間的距離與第二系數(shù)的乘積作為對(duì)角線長度的一半，繪制矩形作為所述第二區(qū)域。

5.根據(jù)權(quán)利要求1所述的方法，其中在確定經(jīng)匹配區(qū)域之前，進(jìn)一步包括：

對(duì)所述待修補(bǔ)圖像進(jìn)行顏色校準(zhǔn)。

6.根據(jù)權(quán)利要求5所述的方法，其中對(duì)所述待修補(bǔ)圖像進(jìn)行顏色校準(zhǔn)，包括：

將所述待修補(bǔ)圖像和所述參考圖像從RGB顏色空間變換到LAB顏色空間；

分別計(jì)算所述待修補(bǔ)圖像和所述參考圖像在LAB顏色空間中每個(gè)通道的平均值和方差；

基于所述待修補(bǔ)圖像在LAB顏色空間中每個(gè)通道的平均值和方差，對(duì)所述待修補(bǔ)圖像在LAB顏色空間中每個(gè)通道的值進(jìn)行歸一化；

基于所述參考圖像在LAB顏色空間中每個(gè)通道的平均值和方差，對(duì)所述待修補(bǔ)圖像在LAB顏色空間中每個(gè)通道的歸一化的值進(jìn)行去歸一化；以及

將去歸一化后的待修補(bǔ)圖像從LAB顏色空間變換回RGB顏色空間。

7.根據(jù)權(quán)利要求1所述的方法，其中在生成經(jīng)修補(bǔ)圖像之后，進(jìn)一步包括：

基于所述經(jīng)修補(bǔ)圖像和所述第一組三維布局圖中的其他圖像，生成經(jīng)修補(bǔ)的第一全景圖像。