[發(fā)明專利]基于人工智能的航拍場(chǎng)景下果凍效應(yīng)修復(fù)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110398399.3
• 申請(qǐng)日: 2021-04-09
• 公開(kāi)（公告）號(hào): CN113112426A
• 公開(kāi)（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 張承諾;錢思宇
• 申請(qǐng)（專利權(quán)）人: 鄭州易酷航空科技有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T7/13;G06T7/20;G06T3/40
• 代理公司: 鄭州芝麻知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 41173
• 代理人: 張丹丹

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，具體涉及一種基于人工智能的航拍場(chǎng)景下果凍效應(yīng)修復(fù)方法及系統(tǒng)。該方法包括：采集無(wú)人機(jī)懸停狀態(tài)下的第一圖像和第一深度圖像。對(duì)第一圖像和第一深度圖像逐行分析相關(guān)性，當(dāng)出現(xiàn)相關(guān)性異常像素行時(shí)采集第二深度圖像。根據(jù)第一深度圖像和第二深度圖像獲得異常區(qū)域及異常區(qū)域邊界行。根據(jù)異常區(qū)域的異常類型對(duì)第一圖像內(nèi)像素進(jìn)行去除或填充生成第二圖像；根據(jù)異常像素行和異常區(qū)域邊界行分別對(duì)第二圖像和第一深度圖像進(jìn)行裁剪，獲得第一裁剪圖和第二裁剪圖。通過(guò)空間變換網(wǎng)絡(luò)處理第一裁剪圖和第二裁剪圖獲得修復(fù)特征矩陣，消除第一圖像的果凍效應(yīng)。本發(fā)明針對(duì)不同異常類型修復(fù)果凍效應(yīng)，提高了修復(fù)精度和效率。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，具體涉及一種基于人工智能的航拍場(chǎng)景下果凍效應(yīng)修復(fù)方法及系統(tǒng)。

背景技術(shù)

在使用無(wú)人機(jī)進(jìn)行航拍工作時(shí)，為了得到清晰的圖像，往往會(huì)在無(wú)人機(jī)上部署具有卷簾快門的高清攝像頭。但是由于無(wú)人機(jī)是本身具有高速運(yùn)動(dòng)能力的設(shè)備，且在航拍工作中會(huì)有不同程度的不同頻率震動(dòng)，這些因素使得卷簾快門拍出的一張圖像中具有果凍效應(yīng)程度不同的區(qū)域，使圖像出現(xiàn)斜拉、扭曲、搖擺不定等現(xiàn)象。對(duì)果凍效應(yīng)圖像進(jìn)行修復(fù)可以提高航拍工作效率，但是對(duì)整張圖像的修復(fù)往往會(huì)考慮不到果凍效應(yīng)程度不同區(qū)域的情況，無(wú)法做到準(zhǔn)確有效的果凍效應(yīng)修復(fù)。

發(fā)明內(nèi)容

為了解決上述技術(shù)問(wèn)題，本發(fā)明的目的在于提供一種基于人工智能的航拍場(chǎng)景下果凍效應(yīng)修復(fù)方法及系統(tǒng)，所采用的技術(shù)方案具體如下：

本發(fā)明提出了一種基于人工智能的航拍場(chǎng)景下果凍效應(yīng)修復(fù)方法，所述方法包括：

采集無(wú)人機(jī)懸停狀態(tài)下的第一圖像和第一深度圖像；

對(duì)所述第一圖像進(jìn)行邊緣檢測(cè)獲得第一邊緣圖像；對(duì)所述第一深度圖像邊緣檢測(cè)獲得第二邊緣圖像；對(duì)像素點(diǎn)逐行分析所述第一邊緣圖像和所述第二邊緣圖像的相關(guān)性；當(dāng)所述第一邊緣圖出現(xiàn)至少一行相關(guān)性異常像素行時(shí)采集第二深度圖像；

根據(jù)所述第一深度圖像和所述第二深度圖像獲得無(wú)人機(jī)的運(yùn)動(dòng)區(qū)域；以所述運(yùn)動(dòng)區(qū)域的高作為擴(kuò)延距離對(duì)所述異常像素行進(jìn)行擴(kuò)延，獲得異常區(qū)域邊界行；所述異常像素行到所述異常區(qū)域邊界行的區(qū)域?yàn)楫惓^(qū)域；

以所述無(wú)人機(jī)懸停狀態(tài)下的震動(dòng)方向判斷所述異常區(qū)域的異常類型；若所述異常類型為拉伸，則在所述第一圖像中去除所述異常區(qū)域，拼接生成第二圖像；若所述異常類型為壓縮，則在所述第一圖像中填充所述異常區(qū)域，生成所述第二圖像；

根據(jù)所述異常像素行和所述異常區(qū)域邊界行分別對(duì)所述第二圖像和所述第一深度圖像裁剪，獲得第一裁剪圖和第二裁剪圖；

通過(guò)預(yù)先訓(xùn)練好的空間變換網(wǎng)絡(luò)處理所述第一裁剪圖和所述第二裁剪圖獲得變換參數(shù)；所述變換參數(shù)組成修復(fù)特征矩陣；通過(guò)所述修復(fù)特征矩陣消除所述第一圖像的果凍效應(yīng)。

進(jìn)一步地，所述獲得所述修復(fù)特征矩陣后，以所述修復(fù)特征矩陣作為標(biāo)簽數(shù)據(jù)，以所述第一圖像作為訓(xùn)練數(shù)據(jù)訓(xùn)練修復(fù)特征矩陣獲取網(wǎng)絡(luò)；所述修復(fù)特征矩陣獲取網(wǎng)絡(luò)輸入為所述第一圖像，輸出為所述修復(fù)特征矩陣。

進(jìn)一步地，所述變換參數(shù)組成修復(fù)特征矩陣后還包括：

將所述修復(fù)特征矩陣輸入預(yù)先訓(xùn)練好的時(shí)序預(yù)測(cè)網(wǎng)絡(luò)，獲得下一幀所述第一圖像的所述修復(fù)特征矩陣；通過(guò)下一幀所述修復(fù)特征矩陣信息判斷下一幀所述第一圖像是否需要進(jìn)行修復(fù)。

進(jìn)一步地，所述以所述無(wú)人機(jī)懸停狀態(tài)下的震動(dòng)方向判斷所述異常區(qū)域的異常類型包括：

以檢測(cè)出相關(guān)性異常像素行數(shù)時(shí)慣性傳感器Z軸數(shù)據(jù)減去上一行的Z軸數(shù)據(jù)，獲得傳感器信息差；若所述傳感器信息差大于零時(shí)所述異常類型為拉伸；反之則為壓縮。

進(jìn)一步地，所述獲得第一裁剪圖和第二裁剪圖后還包括：