[發明專利]基于視覺學習驅動的空中機器人集群控制方法及系統

有效

• 申請號: 202110398811.1
• 申請日: 2021-04-14
• 公開（公告）號: CN113065499B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 王耀南;范瀧文;鐘杭;李玲;繆志強;張輝;林杰
• 申請（專利權）人: 湖南大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/30;G06T7/70;G06T3/40;G06N3/04;G05D1/10
• 代理公司: 長沙市護航專利代理事務所(特殊普通合伙) 43220
• 代理人: 莫曉齊

1.基于視覺學習驅動的空中機器人集群控制方法，其特征在于，所述方法包括以下步驟：

步驟S200：采用攝像頭模塊掃描獲取當前空中機器人全方位周圍場景圖像；

步驟S300：對所述全方位周圍場景圖像進行預處理，得到預處理后的全方位周圍場景圖像；

步驟S500：根據所述預處理后的全方位周圍場景圖像和預設的網絡模型，得到網絡模型輸出的控制量；

步驟S600：檢測空中機器人當前運行狀態信息，根據所述當前運行狀態信息確認當前空中機器人運行正常時，獲取當前空中機器人前一次運行的目標速度，根據前一次運行的目標速度和所述網絡模型輸出的控制量得到最終控制量，根據所述最終控制量實現對當前空中機器人的控制，其中，空中機器人包括攝像頭模塊、計算機模塊和飛控模塊，所述運行狀態信息包括速度、位置、航向信息，以及所述攝像頭模塊、所述計算機模塊和所述飛控模塊間連接信號；

所述步驟S500之前還包括：

步驟S400：預訓網絡模型，得到預設的網絡模型；

所述預設的網絡模型包括速度預測的全連接層和碰撞預測的全連接層，所述步驟S400包括：

步驟S410：采集預訓練所需要的訓練集圖像；

步驟S420：將所述訓練集圖像輸入初始網絡模型進行訓練確定網絡權值參數，得到預設的網絡模型，其中，在速度預測的全連接層處采用均方誤差損失函數，在碰撞預測的全連接層處采用交叉熵損失函數；

所述預設的網絡模型中的總的損失函數為：

其中,L_all表示總的損失函數，a表示加權比例，epoch表示循環迭代次數，L_vel表示均方誤差損失函數，L_col表示交叉熵損失函數；

步驟S600中最終控制量的計算公式具體為：

ν_out＝b(1-β)ν_in+(1-b)v_lastout

其中，ν_out為最終控制量，β為碰撞概率，b為低通濾波參數，ν_in為網絡模型輸出的控制量，v_lastout為空中機器人前一次運行的目標速度。

2.根據權利要求1所述的方法，其特征在于，所述全方位周圍場景圖像包括多張圖像，所述步驟S300包括：

步驟S310：對所述全方位周圍場景圖像中的多張圖像進行灰度變換，采用高斯濾波抑制噪聲并平滑圖像，得到第一圖像；

步驟S320：對所述第一圖像進行二值化操作，得到第二圖像；

步驟S330：對所述第二圖像進行特征點提取與匹配，并按照預設順序排序拼接，形成一張圖像。

3.根據權利要求1所述的方法，其特征在于，步驟S600還包括：

根據所述當前運行狀態信息確定空中機器人運行狀態異常時，輸出返回控制指令，控制空中機器人返回。

4.根據權利要求1所述的方法，其特征在于，步驟S200之前還包括：

步驟S100：發送啟動指令，所述啟動指令用于控制所述攝像頭模塊和所述飛控模塊開始工作。

5.基于視覺學習驅動的空中機器人集群控制系統，其特征在于，包括多架空中機器人，每一空中機器人包括空中機器人本體和均安裝在所述空中機器人本體上的攝像頭模塊、計算機模塊和飛控模塊，所述攝像頭模塊連接所述計算機模塊，所述計算機模塊連接所述飛控模塊；

所述攝像頭模塊用于掃描獲取空中機器人全方位周圍場景圖像并發送至所述計算機模塊；

所述計算機模塊用于執行權利要求1至4中任一項所述的方法，得到最終控制量并發送至所述飛控模塊；

所述飛控模塊用于根據接收的所述最終控制量實現對空中機器人集群控制。

6.根據權利要求5所述的控制系統，其特征在于，所述攝像頭模塊包括第一攝像頭、第二攝像頭、第三攝像頭、第四攝像頭、第五攝像頭和第六攝像頭，所述第一攝像頭設置于所述空中機器人本體的正前方，所述第二攝像頭、所述第三攝像頭和所述第四攝像頭以每隔90°均勻設置于所述空中機器人本體的其余三周，所述第五攝像頭設置于所述空中機器人本體的頂部，所述第六攝像頭設置于所述空中機器人本體的底部，每個攝像頭的視野范圍為120°。