[發明專利]一種用于無人機的360度立體全景觀測系統及方法

有效

• 申請號: 201810314065.1
• 申請日: 2018-04-10
• 公開（公告）號: CN108769569B
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 晁涌耀;梁艷菊;常嘉義
• 申請（專利權）人: 昆山微電子技術研究院
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N5/232;G06T3/40;G06T5/50;G06T7/80
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

1.一種使用用于無人機的360度立體全景觀測系統的方法，所述系統包括觀測子系統與處理子系統，其中，所述觀測子系統由觀測無人機下方、觀測無人機上方以及觀測無人機四周的多個攝像頭組成，所述處理子系統與所述觀測子系統進行通信，所述處理子系統用于對所述觀測子系統中多個攝像頭獲得的圖像進行處理，其特征在于，包括：

所述觀測子系統采集圖像數據；

所述處理子系統對所述圖像數據進行圖像預處理；

所述處理子系統根據攝像頭的內外參數據對所述預處理后的圖像數據進行圖像校正；所述攝像頭的內外參數據包括：所述多個攝像頭的焦距以及所述多個攝像頭間的相對位置信息；

所述處理子系統根據校正后的圖像數據與所述攝像頭內外參數據進行全景投影模型建模，獲得全景投影模型；所述對全景投影模型建模包括：根據觀測需要，根據所述多個攝像頭間的相對位置信息，對所述圖像數據進行2D或3D建模，其中所述2D建模由圖像方陣組成，方陣中每個方格對應一個像素點，所述3D建模由多個面組成立體模型，立體模型中每個組成面對應一個像素點，其中所述像素點來自校正后的圖像數據；

所述處理子系統對所述全景投影模型進行全景投影紋理映射，獲得全景投影紋理映射圖像；根據所述多個攝像頭的相對位置信息，通過所述像素點將組成2D或3D模型的方格或面的位置信息映射到校正后的圖像信息中，進而再映射到原始圖像信息中，從而完成全景投影紋理的映射，其中每個像素位置信息對應一個或多個原始圖像信息；

所述處理子系統對所述全景投影紋理映射圖像進行圖像紋理融合，通過對所述一個像素位置信息中對應的多個原始圖像賦予不同權重的方法進行圖像紋理融合，以其數學方式表達為：

F(x，y)＝w₁f₁(x，y)+w₂f₂(x，y)+……w_nf_n(x，y)

其中，F(x，y)表示融合后的紋理，f_i(x，y)表示一個像素點中具有的第i個紋理，w_i表示第i個紋理在該像素點中所占的權重；

所述處理子系統包括：核心處理器模塊、系統存儲模塊、視頻存儲模塊、圖像數據同步模塊以及位置高程感知模塊，其中所述系統存儲模塊、所述視頻存儲模塊、所述圖像數據同步模塊以及所述位置高程感知模塊分別與所述核心處理器模塊相連；

所述圖像數據同步處理模塊用于多路攝像頭的同步處理，所述位置高程感知模塊，用于獲得系統所在的經緯度信息以及高程信息，通訊模塊用于和外界進行通訊，所述系統存儲模塊與所述視頻存儲模塊分別用于存儲控制程序與合成全景圖像數據，其中所述視頻存儲模塊為SD卡或TF卡；

在時鐘模塊的控制下，多個攝像頭通過圖像數據同步模塊將圖像數據傳遞給核心處理器模塊，核心處理器模塊同時接收來自位置高程感知模塊的高程信息，通過核心處理器模塊調取系統存儲模塊中的控制命令，對圖像數據進行處理并與高程信息結合，進而生成360度立體圖像數據，將原始圖像數據、校正后的圖像數據以及生成的融合圖像數據進行保存，同時將融合后的圖像數據通過通訊模塊發送給遠程監控裝置顯示，進而實現無人機所處空間的360度全景立體觀測。