[發明專利]一種基于ArUco標簽的無人機視覺引導降落方法

有效

• 申請號: 201911293408.1
• 申請日: 2019-12-16
• 公開（公告）號: CN110989674B
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 雍旭東;香玫元
• 申請（專利權）人: 西安因諾航空科技有限公司
• 主分類號: G05D1/10
• 分類號: G05D1/10;G05D1/12;G06T7/73
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 李曉曉

1.一種基于ArUco標簽的無人機視覺引導降落方法，其特征在于，包括以下步驟：

步驟1，生成ArUcoMarker：每一個ArUco Marker都是一個二進制平方標記，它由一個寬的黑邊和一個內部的二進制矩陣組成；ArUcoMarker為ArUco標志板；

步驟2，接收解析飛控指令：飛控和視覺算法之間通過串口通信，而串口端口和波特率信息記錄在配置文件中，算法流程從配置文件中打開對應端口并創建接收解析飛控指令的線程；

步驟3，執行視覺降落算法：視覺算法處理端根據讀取到的視頻幀和預先標定的相機參數，采用ArUco算法庫對視頻幀中的Marker進行檢測，并估算得到當前時刻無人機相對于Marker的位置和姿態；當接收到飛控發送的視覺著陸啟動信號時，視覺降落算法進入跟隨狀態；

步驟4，發送結果至飛控：在完成每一個視頻幀的處理后，將處理結果發送至飛控；

步驟5，飛控動作響應：當飛控接收到視覺算法的數據包后，如果定位狀態為1，則說明此時算法數據可信任，飛控將根據當前相機相對于Marker中心的偏移量以及偏航角對飛機位姿進行反向補償和降落策略的控制，從而實現無人機的準確著陸。

2.根據權利要求1所述的一種基于ArUco標簽的無人機視覺引導降落方法，其特征在于，步驟1具體為：黑色邊界用于快速檢測到圖像，二進制編碼用于決定Marker的ID；Marker存在多種表現形式，而Marker的字典就是各個形式的集合，其主要性質是字典大小和Marker大小，其中，字典大小是組成字典的Marker數量，而Marker大小則是二進制位的個數；

采用多個Marker嵌套的模式確保無人機在降落階段的不同高度都能看到完整的Marker，從而實現姿態估計，每組嵌套Marker內部二進制編碼均不同且有特定的對應關系，能夠實現機場擴展。

3.根據權利要求1所述的一種基于ArUco標簽的無人機視覺引導降落方法，其特征在于，步驟2中具體為：飛控按照包的形式發送數據，主要的信息包括機場ID號以及開關命令，其中，機場ID號用于確保無人機降落到指定機場，而開關命令用于切換引導控制權，當算法讀取到開始指令時則啟動視覺引導著陸任務。

4.根據權利要求1所述的一種基于ArUco標簽的無人機視覺引導降落方法，其特征在于，步驟3中具體為：

1)連接相機，以獲取視頻圖像信息；如果相機連接失敗，則發送錯誤信號給飛控；

2)讀取相機參數、機場信息和Marker信息；其中，相機參數通過標定相機所得，用于記錄相機內參和畸變參數等固有屬性；機場信息用于記錄降落區域的機場個數及編號，采用外大里小兩層Marker嵌套的方式，每個機場包含了兩個Marker ID；而Marker信息用于記錄Marker隸屬的字典以及對應的邊長，單位為米；

3)調用ArUco庫中的檢測函數，用于標記畫面中出現的指定ID的Marker；具體地，檢測算法先通過灰度化將圖像由RGB通道轉為Gray通道，再使用中值濾波去除噪聲干擾，并利用自適應閾值Otsu的方式將灰度圖進行二值化，隨后提取輪廓，并找出所有可能的凸四邊形作為候選，最后通過ID值和Marker內部矩陣比對篩選出指定Marker進行框選，且優先選擇大Marker；

4)調用ArUco庫中的位姿估算函數，得到Marker相對于相機的位置和姿態；具體地，根據相機坐標系和Marker坐標系的對應關系，根據PnP方式建立二者的旋轉和平移關系，得到Marker相對于相機的變換矩陣；

5)對上一步的變換矩陣求逆得到相機相對于Marker的旋轉和平移矩陣，確保所有估算得到的相機位姿都相對于同一個坐標系。

5.根據權利要求1所述的一種基于ArUco標簽的無人機視覺引導降落方法，其特征在于，步驟4中視覺算法發送給飛控的數據包括定位狀態、X方向偏移量、Y方向偏移量、Z方向偏移量以及偏航角；該數據同樣采用數據包的形式發送，數據發送頻率和視頻幀率保持一致。

6.根據權利要求1所述的一種基于ArUco標簽的無人機視覺引導降落方法，其特征在于，步驟5中進一步的，在修正無人機在水平方向上不斷居中的同時，還需控制其在垂直方向的高度；在降落過程中Marker偏出相機視野時，需要拉高飛機至一定高度以使Marker重新出現在畫面中。