[發明專利]基于端到端深度神經網絡的RRU模塊物件位姿檢測方法

有效

• 申請號: 201811333891.7
• 申請日: 2018-11-09
• 公開（公告）號: CN109409327B
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 林偉陽;程度;任昕旸;李湛;佟明斯;楊學博
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/08;G06T7/13;G06T7/70
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 劉冰

1.基于端到端深度神經網絡的RRU模塊物件位姿檢測方法，其特征在于：所述方法具體過程為：

步驟一：在物件處于不同位置和姿態的境況下采集物件圖像樣本，對采集的物件圖像樣本進行灰度處理；

步驟二：將灰度處理后的圖像樣本內的目標物體進行關鍵點標注；

所述關鍵點為目標物體的四邊形的四個頂點；

步驟三：對標注后的圖像樣本采用旋轉、平移和縮放的增強方式進行圖像擴增，將擴增后的圖像樣本分為訓練集和驗證集；

步驟四：重復對擴增后的圖像樣本內的目標物體進行關鍵點標注，將圖像文件和標簽文件打包，轉換為LMDB格式；

步驟五：使用CAFFE搭建神經網絡模型；

步驟六：設定神經網絡初始學習率和學習率下降策略，訓練網絡，得到訓練好的神經網絡；

步驟七：相機對物件采集圖像，將圖像進行降采樣后傳遞給主機；

步驟八：主機將得到的圖像作為訓練好的神經網絡的輸入，根據權重和閾值神經網絡計算物件角點，即物件邊界框的四個角點，邊界框中心點位置是四個角點的中心位置；

步驟九：利用非極大抑制算法對邊界框進行篩選，篩選出物件四個角點位置；

步驟十：根據篩選出的物件四個角點位置，計算出物件相對于水平位置的旋轉角度。

2.根據權利要求1所述基于端到端深度神經網絡的RRU模塊物件位姿檢測方法，其特征在于：所述步驟二中將灰度處理后的圖像樣本內的目標物體進行關鍵點標注；具體過程為：

從目標物體左上角點開始，以逆時針方向對目標物體的四邊形的四個頂點逐個進行標注，直到右上角點結束；

所述關鍵點為目標物體的四邊形的四個頂點。

3.根據權利要求1或2所述基于端到端深度神經網絡的RRU模塊物件位姿檢測方法，其特征在于：所述步驟五中使用CAFFE搭建神經網絡模型；具體過程為：

構建網絡結構和損失函數，損失函數包含三部分，Smooth_L1位置損失、置信度損失和L2正則化項，如下式所示：

損失函數為：

式中，L(x,c,l,g)為損失函數，x為1時表示各個類別下先驗邊界框和真實邊邊界框相匹配，x為0時表示不匹配；c為類別置信度，l為預測邊界框，g為真實邊界框，L_conf(x,c)為置信度損失函數；α為位置損失權重，L_loc(x,l,g)為位置損失函數；λ為權重衰減項參數，W為神經網絡中神經元鏈接權重，為W的L2范數的平方；為L2正則化項。

4.根據權利要求3所述基于端到端深度神經網絡的RRU模塊物件位姿檢測方法，其特征在于：所述Smooth_L1位置損失函數為：

式中，為1時表示各個類別下先驗邊界框和第p類真實邊邊界框相匹配，為0時表示不匹配；i為第i個先驗邊界框，j為第j個真實邊界框，p為第p類；Smooth_L1為Smooth_L1函數，l_i為第i個預測邊界框，為第j個第p類的真實邊界框。

5.根據權利要求4所述基于端到端深度神經網絡的RRU模塊物件位姿檢測方法，其特征在于：所述置信度損失為：

式中，f_i^p為中間變量，為經過分類層的輸出，為第i個先驗邊界框分為第p類的置信度大小，f_i⁰為圖像背景類的f_i^p，為圖像背景類的

式中，β為超參數，γ為超參數；

6.根據權利要求5所述基于端到端深度神經網絡的RRU模塊物件位姿檢測方法，其特征在于：所述步驟六中設定神經網絡初始學習率和學習率下降策略，訓練網絡，得到訓練好的神經網絡；具體過程為：

采用隨機梯度下降算法SGD，學習率衰減方式為Poly，初始學習率設為0.0001，power設為2；

使用CAFFE框架搭建網絡，輸入訓練參數，訓練網絡，訓練50000次，得到訓練好的神經網絡。

7.根據權利要求6所述基于端到端深度神經網絡的RRU模塊物件位姿檢測方法，其特征在于：所述步驟十中根據篩選出的物件四個角點位置，計算出物件相對于水平位置的旋轉角度；具體過程為：

定義水平方向為0°，根據邊界框四個角點的位置計算物件的中心位置，得到各個角點到中心點的向量，隨后計算各個向量相對于0°時對應向量的旋轉角度，最后由四次計算的旋轉角度的平均值記為物體旋轉角度。