[發明專利]一種分布式多相機球形無人系統目標檢測方法

在審

• 申請號: 202210040564.2
• 申請日: 2022-01-14
• 公開（公告）號: CN114445688A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 蔡志浩;牛鈺;趙江;王英勛
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06K9/62;G06N3/08
• 代理公司: 北京天匯航智知識產權代理事務所(普通合伙) 11987
• 代理人: 黃川

1.一種分布式多相機球形無人系統目標檢測方法，其特征在于，所述無人系統由多個四旋翼無人機構成，所述多個四旋翼無人機拼合成為球形無人系統；所述無人機上安裝有單目攝像頭，在拼合成球形狀態時，無人系統為攜帶有多個攝像頭的剛體；包括以下步驟：

第一步，針對多相機無人系統設計分布式相機網絡拓撲結構，使各相機分別將拍攝到的場景圖像進行獨立的特征提取處理；

第二步，利用多相機數據融合算法，對多個相機提供的圖像數據進行特征層面的圖像融合處理，使其融合成為一幅完備的圖像；

第三步，建立基于深度學習的目標檢測算法，對神經網絡模型進行壓縮處理，利用壓縮后的神經網絡模型對第二步得到的融合圖像進行目標檢測處理，完成目標檢測任務。

2.根據權利要求1所述的分布式多相機球形無人系統目標檢測方法，其特征在于，所述第一步，所述分布式相機網絡拓撲結構具體為：對每個相機節點配置處理器作為球形無人系統的相機節點的處理單元，利用ROS中的話題-訂閱機制來實現任意多個相機節點的數據通信，每個相機節點獨立運行，將拍攝到的場景圖像進行獨立的特征提取處理。

3.根據權利要求1所述的分布式多相機球形無人系統目標檢測方法，其特征在于，所述第二步，所述多相機數據融合算法具體為：

(1)獲取多個相機提供的多視角圖像的目標圖像特征點；

(2)將特征點描述子傳送至中央處理單元，對輸入的多視角圖像做特征匹配，使匹配后的多視角圖像融合成一幅完備的圖像。

4.根據權利要求3所述的分布式多相機球形無人系統目標檢測方法，其特征在于，在多視角圖像融合時引入改進的加權平滑算法，即：

用f(x,y)表示重疊區域融合后的圖像，由2幅待融合圖像f_L和f_R加權平均得到，即：

f(x,y)＝α×f_L(x,y)+(1-α)f_R(x,y)

其中α是可調因子，0＜α＜1，即在圖像交叉區域中，沿視角1圖像向視角2圖像的方向，α由1漸變為0，實現交叉區域的平滑融合；為了給2幅圖像建立更大的相關性，使用下式進行融合處理：

令則其中d₁、d₂分別表示交叉區域中的點到2個不同視角圖像交叉區域的左邊界和右邊界的距離。

5.根據權利要求1所述的分布式多相機球形無人系統目標檢測方法，其特征在于，所述第三步，對神經網絡模型進行壓縮處理具體為：

(1)制作訓練所用的目標數據集，利用數據集進行基礎訓練；

(2)設置學習率，對網絡進行稀疏化訓練，網絡中許多縮放因子會趨近于零；

(3)進行網絡剪枝，對縮放因子進行排序，剪掉值較小的縮放因子對應的通道；

(4)進行知識蒸餾，使用教師網絡指導剪枝后的學生網絡進行訓練，得到壓縮后更加緊湊的神經網絡模型。

6.根據權利要求5所述的分布式多相機球形無人系統目標檢測方法，其特征在于，在知識蒸餾之后，重新進行稀疏化訓練、網絡剪枝、知識蒸餾步驟，對模型進行多次壓縮。

7.根據權利要求5所述的分布式多相機球形無人系統目標檢測方法，其特征在于，所述網絡剪枝具體為：

(1)引入縮放因子，將其乘以通道的輸出，計算與所有濾波器相關的新引入的梯度項；

(2)將網絡權值和縮放因子聯合訓練，對縮放因子稀疏正則化；

(3)用一個小因子對通道進行微調，使同一通道的輸入或輸出端的所有權重在訓練時同時趨于零值，以切斷與通道相關的所有輸入和輸出連接，實現通道細化；

(4)對近似為0的縮放因子剪裁通道，并移除其所有連接和相應的權重，得到剪枝后的網絡模型。

8.根據權利要求5所述的分布式多相機球形無人系統目標檢測方法，其特征在于，所述知識蒸餾具體為：

(1)訓練大模型；

(2)將訓練目標從傳統的真值標簽更新為軟目標，將大模型的訓練知識轉移到小模型上，得到壓縮后更加緊湊的神經網絡模型。