[發明專利]一種基于單目視覺的無人機低功耗自主避障方法及系統

有效

• 申請號: 202110551110.7
• 申請日: 2021-05-20
• 公開（公告）號: CN113419555B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 錢德沛;郭好雨;王銳
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G05D1/10
• 分類號: G05D1/10;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;鄧治平

1.一種基于單目視覺的無人機低功耗自主避障方法，其特征在于，步驟如下：

步驟1：收集數據集：采用深度相機收集數據集，深度相機收集到的是整個場景的距離；同步收集單目RGB圖像和深度圖像，單目RGB圖像數據集作為訓練輕量化自主避障模型的數據集，深度圖像用于制作距離標簽；

步驟2：數據集處理：將收集到的深度圖像進行裁剪后，按寬度等分為左中右三部分，并求出左中右三部分的平均深度值，深度值表示距離值，將平均深度值作為左中右三個方向的距離，將三個方向的距離與所述單目RGB圖像數據集進行對應，作為單目RGB圖像左中右三個方向的距離標簽；

步驟3：基于輕量化卷積神經網絡構建輕量化自主避障模型；

步驟4：訓練和測試所述輕量化自主避障模型，將所述數據集劃分為訓練集，驗證集和測試集，確定模型訓練參數，采用模型訓練參數進行輕量化自主避障模型的訓練，將模型訓練參數代入輕量化自主避障模型，最終從單目圖像中預測到左中右三個方向的距離dl，dc，dr；

步驟5：設計控制算法將所預測的左中右三個方向的距離dl，dc，dr轉化為無人機控制指令，以控制無人機的避障飛行；

所述步驟3中，輕量化自主避障模型采用輕量化卷積神經網絡實現，所述輕量化卷積神經網絡的輸入層是單目RGB圖像，經過預先特征提取層提取特征，預先特征提取層由池化層max pooling+卷積層conv+池化層max pooling構成；然后經過兩個輕量化模塊提取特征；最后經過一個3*3卷積運算提取特征后將特征圖按寬度劃分為左中右三塊，分別送入三個分支中，每個分支層由一個3*3卷積加一個全連接層組成，各分支最后輸出左中右三個方向的距離；所述兩個輕量化模塊均采用輕量級卷積神經網絡SuffleNet中的模塊，損失函數采用三分支MSE(Mean Squard Error，均方誤差)損失函數；

所述步驟5中，控制算法實現如下：

(1)無人機控制指令包括線速度V和角速度W，線速度V由中間方向距離dc控制，能夠判斷無人機正對空間是否有障礙物，為了更好的調節線速度再設置兩個閾值dmin和dmax，dc小于dmin表示當前正對空間存在障礙物，線速度調整為0，dc大于dmax表示當前正對空間不存在障礙物，調整為最大線速度Vmax，dc位于兩者之間則根據dc距離大小調整線速度，線速度公式為：

(2)角速度W由所述左中右三個方向的距離dl，dc，dr共同決定，角速度W大小范圍為[-1,1]，小于0表示向左轉，大于0表示向右轉；將左邊方向設置為-45°，中間方向設置為0°，右邊方向設置為45°，則dl，dc，dr均成為向量dl，dc，dr，當左中右三個方向距離都大于dmin時，角速度由三個方向的距離向量共同決定，θ等于dl，dc，dr合力方向的度數，角速度等于θ除以dr度數；否則，當左方向距離大于右方向距離時，角速度由左中距離向量共同決定，θ等于dl，dc合力方向的度數，角速度等于θ除以dr度數；反之由右中距離向量共同決定，θ等于dc，dr合力方向的度數，角速度等于θ除以dr度數，當左中右三個方向距離都小于dmin時，說明此時左中右三個方向都存在障礙物，則掉頭尋找其他路徑。

2.根據權利要求1所述的基于單目視覺的無人機低功耗自主避障方法，其特征在于：所述步驟2中，在歸一化前選一個安全閾值d_safe和危險閾值d_danger，比d_danger小的距離視為危險距離，比d_safe大的距離視為安全距離，則歸一化公式為：

3.一種基于單目視覺的無人機低功耗自主避障系統，其特征在于，包括：視頻解析模塊、避障系統模塊和控制系統模塊；

視頻解析模塊，為整個系統提供圖像輸入，首先利用無人機收集視頻，通過Socket協議傳輸到控制平臺，然后進行視頻解析，將視頻解析為幀圖像，接下來對圖像進行預處理，即將圖像調整為規定大小，圖像處理好后被輸入到避障系統模塊中；

避障系統模塊，用于從圖像中預測左中右三個方向的距離；視頻解析模塊已經得到了經過預處理的圖像，接下來將訓練好的輕量化自主避障模型部署到控制平臺上，具體部署方式為：在控制平臺上安裝輕量化自主避障模型運行所需環境，并將輕量化自主避障模型進行模型壓縮，使其在控制平臺上運行；部署完成后，將視頻解析模塊得到的圖像作為輕量化自主避障模型的輸入，運行模型得到該圖像對應的左中右三個方向的距離dl，dc，dr；輕量化自主避障模型采用輕量化卷積神經網絡實現，所述輕量化卷積神經網絡的輸入層是單目RGB圖像，經過預先特征提取層提取特征，預先特征提取層由池化層max pooling+卷積層conv+池化層max pooling構成；然后經過兩個輕量化模塊提取特征；最后經過一個3*3卷積運算提取特征后將特征圖按寬度劃分為左中右三塊，分別送入三個分支中，每個分支層由一個3*3卷積加一個全連接層組成，各分支最后輸出左中右三個方向的距離；所述兩個輕量化模塊均采用輕量級卷積神經網絡SuffleNet中的模塊，損失函數采用三分支MSE(MeanSquard Error，均方誤差)損失函數；

控制系統模塊，用于將左中右三個方向的距離轉換為控制無人機的指令，無人機控制指令包括無人機線速度V和角速度W；

(1)線速度V由中間方向距離dc控制，能夠判斷無人機正對空間是否有障礙物，為了更好的調節線速度再設置兩個閾值dmin和dmax，dc小于dmin表示當前正對空間存在障礙物，線速度調整為0，dc大于dmax表示當前正對空間不存在障礙物，調整為最大線速度Vmax，dc位于兩者之間則根據dc距離大小調整線速度，線速度公式為：

(2)無人機角速度由W所述左中右三個方向的距離dl，dc，dr共同決定，角速度大小范圍為[-1,1]，小于0表示向左轉，大于0表示向右轉；將左邊方向設置為-45°，中間方向設置為0°，右邊方向設置為45°，則dl，dc，dr均成為向量dl，dc，dr，當左中右三個方向距離都大于dmin時，角速度由三個方向的距離向量共同決定，θ等于dl，dc，dr合力方向的度數，角速度等于θ除以dr度數；否則，當左方向距離大于右方向距離時，角速度由左中距離向量共同決定，θ等于dl，dc合力方向的度數，角速度等于θ除以dr度數；反之由右中距離向量共同決定，θ等于dc，dr合力方向的度數，角速度等于θ除以dr度數，當左中右三個方向距離都小于dmin時，說明此時左中右三個方向都存在障礙物，則掉頭尋找其他路徑；

(3)求得無人機線速度V和角速度W后，控制平臺通過Socket協議發送給無人機控制其避障飛行。