[發明專利]一種基于人工智能的航拍場景下果凍效應預防方法及系統

在審

• 申請號: 202110355358.6
• 申請日: 2021-04-01
• 公開（公告）號: CN112926530A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 黃海源;桑藍奇;孫俊
• 申請（專利權）人: 黃海源
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06T7/62;B64C39/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種基于人工智能的航拍場景下果凍效應預防方法及系統，涉及人工智能領域；該方法包括卷簾快門相機采集圖像；利用光流法獲得圖像的光流信息，根據圖像光流信息和無人機飛行速度得到圖像中運動像素點和靜止像素點；根據靜止像素點的光流信息得到果凍效應指標作為時序預測網絡的標簽訓練時序預測網絡；將無人機的飛行速度、相機的快門時間以及IMU的讀數輸入時序預測網絡預測未來幀圖像的果凍效應指標；構建圖像的動態特征，根據時序預測網絡得到的果凍效應指標和當前幀的動態特征，確定調整模式及時調整無人機相關參數。本發明實現了拍攝圖像的質量預測，及時調整無人機參數預防果凍效應，確保采集到高質量圖片。

技術領域

本發明涉及人工智能、航拍技術領域，具體涉及一種基于人工智能的航拍場景下果凍效應預防方法及系統。

背景技術

卷簾快門的特點是CMOS像素漸次曝光，這樣的好處是可以達到更高的幀率，在使用無人機進行航拍時，為了得到清晰的圖像經常使用卷簾快門。

發明人在實踐中，發現上述現有技術存在以下缺陷：

由于無人機本身是具有高速運動能力的設備，且在拍攝作業的同時會有不同程度的不同頻率的震動，這種震動對于相機來說也是一種高速運動。這種高速運動使得卷簾快門拍出的圖像中不同行的像素之間存在時間差，使得圖像出現斜拉、扭曲、搖擺不定等現象，這種現象稱為果凍效應，影響航拍的成像質量。

發明內容

為了解決上述技術問題，本發明的目的在于提供一種基于人工智能的航拍場景下果凍效應預防方法及系統，所采用的技術方案具體如下：

第一方面，本發明實施例提供了一種基于人工智能的航拍場景下果凍效應預防方法，該方法包含以下步驟：

將無人機的飛行速度、相機的快門時間以及IMU的讀數輸入時序預測網絡預測未來幀圖像的果凍效應指標；時序預測網絡的標簽為對每幀圖像中的靜止像素點的光流信息進行分析獲取的果凍效應指標，靜止像素點是根據圖像的光流信息和無人機的飛行速度獲得；以每幀圖像中運動像素點的面積和靜止像素點的面積比作為動態特征，根據動態特征與預設閾值進行比較，判斷靜止像素點和運動像素點的權重；根據時序預測網絡得到的果凍效應指標和每幀圖像的動態特征，確定調整模式及時調整無人機相關參數；調整模式的選取方法為：當靜止像素點的權重高時，將掛件阻尼調節至目標阻尼；當運動像素點的權重高時，計算運動像素點的平均運動速度，根據平均運動速度調節無人機的飛行速度，并將掛件阻尼調節至目標阻尼；目標阻尼是根據以果凍效應指標為輸入、以目標阻尼為輸出的掛件阻尼調節網絡獲取。

進一步地，對每幀圖像中的靜止像素點的光流信息進行分析獲取的果凍效應指標的步驟包括：根據每幀圖像中的每行靜止像素點的光流信息，獲得每幀圖像的光流信息序列；根據光流信息序列，計算相鄰行之間光流信息的差異，得到光流信息變化序列；

根據光流信息變化序列的均值和方差，確定果凍效應指標。

進一步地，以每幀圖像中運動像素點的面積和靜止像素點的面積比作為動態特征的步驟包括：對圖像的二值圖進行連通域分析，得到靜止像素點的面積；對圖像的二值圖進行轉置，進行連通域分析，得到運動像素點的面積；根據圖像中運動像素點的面積和靜止像素點的面積構建動態特征。

進一步地，掛件阻尼調節網絡的訓練步驟包括：以掛件阻尼為標簽，以無人機的IMU讀數和果凍效應指標為訓練集，訓練掛件阻尼調節網絡，損失函數采用均方差損失函數，不斷迭代，更新模型參數。

第二方面，本發明實施例提供了一種基于人工智能的航拍場景下果凍效應預防系統，包括：

時序預測網絡單元，用于將無人機的飛行速度、相機的快門時間以及IMU的讀數輸入時序預測網絡預測未來幀圖像的果凍效應指標；時序預測網絡的標簽為對每幀圖像中的靜止像素點的光流信息進行分析獲取的果凍效應指標，靜止像素點是根據圖像的光流信息和無人機的飛行速度獲得；