[發(fā)明專利]無人機全景圖像處理方法、裝置及電子設備

有效

• 申請?zhí)枺?/td>: 202110141252.6
• 申請日: 2021-02-02
• 公開（公告）號: CN112859109B
• 公開（公告）日: 2022-05-24
• 發(fā)明（設計）人: 蔣夢;張淮;高飛;董建華;丁海有;康秋靜;黃玉君
• 申請（專利權）人: 北京大成國測科技有限公司
• 主分類號: G01S17/88
• 分類號: G01S17/88
• 代理公司: 北京君有知識產權代理事務所(普通合伙) 11630
• 代理人: 潘丹

1.一種無人機全景圖像處理方法，其特征在于，包括：

獲取無人機拍攝的目標圖像以及與所述目標圖像所對應的點云數(shù)據(jù)集合，所述點云數(shù)據(jù)集合在平面坐標中的尺寸與所述目標圖像的尺寸完全一致，所述點云數(shù)據(jù)集合中包含目標圖像上包含的目標對象的空間位置信息；

基于所述點云數(shù)據(jù)集合描述的目標對象的三維目標對象的尺寸，確定n個所述目標對象在水平方向的投影輪廓長度序列，形成第一特征向量：獲取所述水平方向投影輪廓的中心點以及所述投影輪廓在所述中心點上的最長連接線；

對所述最長連接線進行n等分，計算n個等分點到所述最長連接線的垂直方向上的長度；將n個等分點到所述最長連接線的垂直方向上的長度作為所述第一特征向量中的n個元素；

在目標對象三維模型的垂直方向，以所述目標對象三維模型的中心點為中心，以360/n作為步進角度，依次軸向旋轉360/n次，形成n個軸向輪廓矩陣，基于n個軸向輪廓矩陣的特征值，形成第二特征向量：以所述最長連接線所在的垂直面為起始旋轉面，以360/n作為步進角度，形成n個軸向輪廓面；

將所述n個軸向輪廓面的水平方向和垂直方向上的位置坐標作為元素，形成n個軸向輪廓矩陣；

基于所述第一特征向量和所述第二特征向量形成的第一特征矩陣，對所述目標圖像執(zhí)行全景圖像拼接操作，通過第一特征矩陣，基于目標圖像中存在的目標對象作為標記物，并基于該標記物進行圖像位置的定位，來獲取與目標圖像相鄰的其他圖像的特征矩陣，通過判斷相鄰圖像的特征矩陣與第一特征矩陣的相似度是否大于預設值，將目標圖像和相鄰圖像進行定位拼接，從而拼接成全景圖像，包括：獲取所述無人機拍攝的與所述目標圖像相鄰的待拼接圖像以及與所述待拼接圖像所對應的拼接點云數(shù)據(jù)集合，所述拼接點云數(shù)據(jù)集合在平面坐標中的尺寸與所述待拼接圖像的尺寸完全一致，所述拼接點云數(shù)據(jù)集合中包含待拼接圖像上包含的目標對象的空間位置信息；基于所述拼接點云數(shù)據(jù)集合描述的目標對象的三維目標對象的尺寸，確定n個所述目標對象在水平方向的投影輪廓長度序列，形成第三特征向量；在所述目標對象三維模型的垂直方向，以所述目標對象三維模型的中心點為中心，以360/n作為步進角度，依次軸向旋轉360/n次，形成n個軸向輪廓矩陣，基于n個軸向輪廓矩陣的特征值，形成第四特征向量；判斷所述第三特征向量和所述第四特征向量形成的第二特征矩陣與所述第一特征矩陣之間的匹配度是否滿足預設值；若是，則基于所述第一特征矩陣和第二特征矩陣所對應的目標對象的中心點，進行所述目標圖像與所述待拼接圖像之間的拼接操作，以便于形成全景圖像。

2.根據(jù)權利要求1所述的方法，其特征在于，所述獲取無人機拍攝的目標圖像以及與所述目標圖像所對應的點云數(shù)據(jù)集合，包括：

通過預設的通信鏈路通道，從所述無人機端獲取拍攝的目標圖像以及與所述目標圖像所對應的點云數(shù)據(jù)集合。

3.根據(jù)權利要求2所述的方法，其特征在于，所述獲取無人機拍攝的目標圖像以及與所述目標圖像所對應的點云數(shù)據(jù)集合之前，所述方法還包括

控制無人機按照預設路線對所述預設路線上存在的目標對象進行拍攝飛行操作；

利用所述無人機上設置的定位設備，實時獲取無人機的當前位置信息；

基于設置于所述無人機之上的圖像采集設備，采集當前位置下預設路線上的目標對象，形成第一圖像；

獲取與當前位置信息匹配的第二圖像，將所述第一圖像與所述第二圖像進行差分匹配后，形成第三圖像；

對所述第三圖像進行目標識別，形成目標對象集合，實時采集目標對象集合中的每個目標對象形成的點云數(shù)據(jù)，形成點云數(shù)據(jù)序列，將點云數(shù)據(jù)序列中空間夾角大于預設夾角的點云數(shù)據(jù)剔除之后，基于當前位置信息，形成點云數(shù)據(jù)集合。

4.根據(jù)權利要求3所述的方法，其特征在于，所述采集當前位置下預設路線上的目標對象，形成的第一圖像，包括：

利用所述圖像采集設備上的左目相機和右目相機，分別采集左目視頻幀和右目視頻幀；

基于所述左目視頻幀圖像和右目視頻幀圖像，計算當前視野下采集到的目標對象的深度值；

當所述深度值小于預設深度值時，舍棄當前時刻采集到的左目視頻幀和右目視頻幀；

當所述深度值大于預設深度值時，基于左目視頻幀和右目視頻幀生成所述第一圖像。