[發明專利]一種無人機影像高效處理系統

有效

• 申請號: 201710747601.2
• 申請日: 2017-08-28
• 公開（公告）號: CN107371040B
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 扆冰禮
• 申請（專利權）人: 荊門程遠電子科技有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44;H04N21/643;H04N5/262
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種無人機影像高效處理系統，其特征在于，包括影像采集傳輸模塊和影像拼接融合模塊，影像采集傳輸模塊分為發送端和接收端兩部分；

無人機影像高效處理系統框架為：無人機上捆綁設置有Android手機，在無人機飛行途中使用Android手機自帶的攝像頭獲取視頻影像數據；對無人機采集得到的視頻影像數據首先使用H.264/AVC編碼標準對其進行壓縮編碼，去除相鄰影像幀之間的冗余信息，適應實時傳輸的帶寬需求，然后使用UDP/RTP/RTCP協議在由電腦建立的虛擬局域網內進行編碼壓縮比特流的傳輸，最后在服務器端對接收到的壓縮比特流進行解碼播放并存儲；同時在服務器端首先將傳輸存儲下來的視頻轉換成視頻影像幀，然后對視頻影像幀進行重疊度的判斷，在滿足影像拼接對重疊度的要求的前提下，采用抽稀策略對解壓得到的原始影像進行抽稀處理，在原始數據中選取其中部分質量較高的無人機影像作為待拼接影像數據集；使用SIFT算子分別提取相鄰待拼接影像的特征信息，并使用歐式距離比值法對相鄰影像的特征點進行匹配，使用RANSAC精匹配的方法對歐氏距離比值法粗匹配后的特征點對進行篩選，剔除其中誤匹配的點對，根據精匹配的結果建立相鄰影像間的變換矩陣實現無人機影像的拼接；

無人機影像高效處理系統包括手機端和服務器端，手機端程序包括數據采集、影像編碼、數據傳輸，服務器端程序包括影像重疊度判斷、影像拼接處理；

服務器端的影像重疊度判斷流程為：對解碼后得到的影像幀，采用SIFT算子分別提取相鄰影像幀的特征點信息，并結合特征點鄰域像素的梯度直方圖確定特征點的特征描述子，根據提取后的特征信息綜合使用歐氏距離比值法粗匹配和RANSAC算法精匹配的方法對相鄰影像幀進行匹配，以第一張影像為基準，將匹配好的影像轉換到第一張影像的坐標系中，并求出左影像和右影像上的面積，該面積即為左右影像之間重疊區域的面積，對影像的重疊度進行計算，并根據無人機影像拼接對重疊度的要求，采用抽稀策略對解碼后的原始影像幀進行抽稀處理；

影像的抽稀策略兼顧無人機影像拼接的最佳重疊度和影像質量兩方面的因素，具體為：

第一步，首先對無人機采集的前5張影像的質量進行分析，選取其中平均梯度值最高的影像作為無人機影像拼接的基準影像，確定基準影像A之后，以m為步長，取基準影像后的第m張影像作為暫定的待拼接影像，在特征匹配的基礎上求解基準影像A和暫定的待拼接影像B之間重疊區域的面積，使用無人機影像航向重疊度計算公式求解得到影像間的重疊度；

第二步，對影像間的重疊度進行判斷，將影像最佳重疊度的范圍設置為60-65％，根據求取的影像重疊度的大小，指導影像抽稀；

第三步，如果選取兩幅影像的重疊度正好位于60-65％之間，則認定已找到最佳重疊區域的影像，此時以影像B為中心，選取影像B周圍各5張影像，共11張影像進行最佳影像的選擇；首先求取這11張影像的平均梯度，之后將計算得到的平均梯度按順序進行排列，從高到低依次計算得到這11張影像與基準影像A之間的重疊度，直到找到滿足重疊度要求的影像B1為止，此時選取的影像B1就是滿足重疊度要求的最佳拼接影像；

第四步，如果選取的兩幅影像的重疊度小于給定的閾值，則認定滿足最佳重疊度要求的影像位于基準影像A和影像B之間，此時采用Bi-section的取樣方法選取影像A與影像B之間的影像C作為參考影像；求取基準影像A和參考影像C之間的重疊度，對重疊度的范圍進行判斷，并依此方法不斷采用Bi-section的方法縮小待拼接影像的選取范圍，直到找到滿足重疊度要求的最佳待拼接影像D或E；以影像D或E為中心，選取影像D或E周圍各5張影像，共11張影像進行最佳影像的選擇；求取這11張影像的平均梯度，將計算得到的平均梯度按順序進行排列，從高到低依次計算得到這11張影像與基準影像A之間的重疊度，直到找到滿足重疊度要求的影像D1或E1為止，此時選取的影像D1或E1就是滿足重疊度要求的最佳拼接影像；

第五步，如果選取兩幅影像的重疊度大于給定的閾值，則認為滿足最佳重疊度要求的影像不在基準影像A和影像B之間，滿足重疊度要求的最佳待拼接影像應該位于影像B的右側；以m為步長選取影像B后面第m張影像F作為參考影像，則此時最佳重疊度影像的搜索范圍平移到影像B和影像F之間；采用Bi-section采樣的方法，逐漸縮小影像搜索的范圍，直到找到滿足重疊度要求的待拼接影像C；以影像C為中心，選取影像C周圍各5張影像，共11張影像進行最佳影像的選擇，求取這11張影像的平均梯度，將計算得到的平均梯度按順序進行排列，從高到低依次計算得到這11張影像與基準影像A之間的重疊度，直到找到滿足重疊度要求的影像C1為止，此時選取的影像C1就是滿足重疊度要求的最佳拼接影像；

第六步，將確定的拼接影像作為原始影像A，重復上面5個步驟的操作，繼續搜索合適的拼接影像，直到挑選出所有滿足條件的拼接影像為止。