[發明專利]運動機器人視覺導航方法

在審

• 申請號: 202011576117.6
• 申請日: 2020-12-28
• 公開（公告）號: CN112581543A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 徐沛;黃海峰
• 申請（專利權）人: 鎮江市高等專科學校
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/194;G06T7/246;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 徐澍

1.一種運動機器人視覺導航方法，前景視場分別在左右攝像機上成像，形成左圖和右圖，其特征在于，包括以下步驟：

一、采集左右攝像機圖像，對攝像機進行標定，得到攝像機內參數矩陣，畸變系數矩陣，本征矩陣，基礎矩陣，旋轉矩陣以及平移矩陣；

二、對視頻進行處理得到幀圖，采用基于主動光照的圖像增強的方法對得到的圖像進行預處理，包括以下步驟：

①利用景深將圖像分為前景與背景區域；

②在景深的基礎上，根據物體與背景的梯度信息把物體與背景分割開；

③選擇無窮遠處與物體非相關性較低的像素點作為背景光估計；

④利用紅色逆通道法求出R、G、B三個通道的透射率；

⑤得到背景光與透射率之后，根據式

I^c(x)＝J^c(x)·t^c(x)+B^∞c[1-t^c(x)]

其中t^c(x)是透射率，I^c(x)代表經過圖像衰減過后相機得到的圖像，B^∞c表示背景光，J^c(x)是去散射后的圖像；

⑥利用探測出的灰色像素的特性估計并去除人造光源的顏色增益；

⑦補償光從光源發出到物體表面的傳播過程中的衰減，校正色差；

三、基于YOLOv3網絡目標檢測的方法，對圖像進行目標識別，包括以下步驟：

1)對數據集進行聚類分析選取錨邊框，錨邊框聚類方法選取包括以下步驟：

步驟(1)：將所有的預測框坐標提取出來；

步驟(2)：獲得所有訓練數據預測框的寬高數據；

步驟(3)：初始化k個錨邊框，通過在所有的預測框中隨機選取k個值作為k個錨邊框的初始值；

步驟(4)：計算每個預測框與每個錨邊框的IOU值，并更新anchor box錨邊框；

YOLOv3通過k-means聚類出錨邊框用來邏輯回歸邊界框，為了減小錨框大小對檢測的影響采用矩形框的平均交并比對訓練集所有目標使用k-means聚類獲得錨框的大小，聚類的平均交并比目標函數p可由以下公式表示：

d(box，cen)＝1-IOU(box，cen) (2)

公式中IOU表示真實框box_tru和預測框box_pre交集面積和并集面積的比值，area表示面積函數，公式(2)為利用k-means聚類算法的距離度量，其中box表示矩形框大小，cen表示一個簇中心矩形框的大小，公式(3)中b表示樣本，c表示通過k-means算法選擇的簇中心，mk表示第k個聚類中樣本的個數，m表示樣本總個數，k表示聚類中心個數，i和j分別表示樣本序號和聚類中的樣本序號；

步驟(5)：重復步驟(4)，直到錨邊框不再變化，或者達到了最大迭代次數；

2)結合多層特征圖進行多尺度檢測：通過多尺度跨層檢測結合深層語義信息和淺層語義信息，對不同大小的特征層進行獨立預測，提高對小目標的檢測精度，改進卷積層特征網絡，包括以下步驟：

步驟(1)：YOLOv3網絡采用三個尺度特征圖對應不同大小的錨框，輸入尺度13*13用來預測大目標，26*26和52*52尺度特征圖對中等目標、小目標預測精度；

步驟(2)：將Darketnet-53網絡的第36層、11層和第8層拼接融合到小目標檢測層；通過上采樣將36層的32pixel*32pixel與11層、8層的64pixel*64pixel拼接作為第三個YOLO檢測層，同時加入兩層3*3卷積層和三層1*1卷積層增加網絡深度；

3)采用DCA特征融合策略結合不同特征層：DCA特征融合策略包括以下步驟：

步驟(1)：首先假設樣本數矩陣為C個單獨的類，為此，n列數據可以分為C個單獨的類，假設n_i列屬于第i類，對于i類的第j個樣本，即特征向量，記為x_ij；和分別表示所有特征集合的平均值和第i類特征的平均值，由此得到的類間散布矩陣如下：

其中有：

步驟(2)：為了更好的區分類別，式(4)中是一個對角化矩陣，滿足定義：其中P是正交特征向量矩陣，是實非負特征值正交矩陣，r是由公式表示的最大非零特征向量矩陣那么矩陣P的定義如公式(6)所示：

r的最顯著特征可以通過映射得到，為轉移矩陣，歸一化S_bx并對數據矩陣進行降維P→r，記輸入的其中一個特征集為X，則X在空間上的投影X′的求解如公式(7)和(8)所示：

W_bx^TS_bxW_bx＝I (7)

同理可得另一輸入特征集Y在空間上的投影Y′，公式如下(9)和(10)：

W_by^TS_byW_by＝I (9)

步驟(3)：為了讓X與Y的特征保持非零相關，利用SVD奇異值分解對兩者的協方差矩陣進行對角化，先定義S′_xy＝X′Y′^T，對角化推算如下：

定義W_cx＝U∑^-1/2，W_cy＝U∑^-1/2，得到(v∑^-1/2)S′_xy(U∑^-1/2)^T＝I，最后進行轉換，得到新的特征集X^*，Y^*，如公式(12)和(13)所示：

X^*＝W_cx^TX′＝W_cx^TW_bx^TX＝W_xX (12)

Y^*＝W_cy^TY′＝W_cy^TW_by^TY＝W_xY (13)

4)進行邊框損失函數參數優化，包括以下步驟：

步驟(1)：對網絡模型超參數的設定，損失優化，在訓練過程中，首先通過預測值與真實值比較得到loss函數，判斷訓練次數，當次數小于設定的次數，再根據loss反向傳播更新模型參數，本方法引入泛化版交并比GIOU，對于預測框A和真實框B，先求出A和B的最小凸包C，再根據交并比IOU的值得到泛化版交并比GIOU，計算公式如下式(14)和(15)所示：

式中，C表示預測框和真實框的最小包圍框的面積，A∪B表示真實框和預測框的面積之和減去兩者的重疊面積；

步驟(2)：生成邊框代價函數，GIOU值總是小于等于IOU，其值位于區間[0，1]，所以GIOU值位于區間[-1，1]，當預測框和真實框完全重合的時候，GIOU＝1；當預測框和真實框不重合，即IOU為零值，GIOU越接近-1，兩者的距離越遠；GIOU作為邊框評價指標時，邊框代價函數如公式(16)所示：

Loss_box＝1-GIOU (16)

步驟(3)：計算整個模型的損失函數如公式(17)所示：

的取值是由網絡單元代表的邊界框是否負責預測某個對象決定，為參與預測的邊界框含有目標的置信度；若邊界框不參與目標預測，但是其與真實框的IOU值大于設定的閾值，那么G_ij值為0，其他的情況下，其值為1，表示邊界框是否預測對象；

步驟(4)：得到目標的邊界框信息，然后通過得到的邊界框信息從圖像中截取出目標所在的邊界框；

四、根據得到的目標所在的邊界框對圖像進行根據最小二乘擬合插值法優化后的SGBM算法進行立體匹配，包括以下步驟：

①匹配成本計算：根據左右圖像中相匹配的同名像素點進行匹配成本函數計算；

②成本合計：設置一個能量函數E(D)來表示像素方向和平滑度約束

其中，C(p，D_p)表示視圖上像素點與匹配點的代價函數；T[|D_p-D_q|＝1]和T[|D_p-D_q|＞1]分別為相鄰像素點P，q之間的平滑度約束函數；P1和P2分別表示視差差值為1和視差差值大于1的懲罰系數，P1＜P2；

③視差計算：根據相鄰像素點P、q進行視差計算，通過為每個像素P選擇具有最小成本的視差d來獲取相對應的視差圖像Db，沿像素q的對極線使用相同的成本計算確定對應的視差圖像Dm，比較Db和Dm，檢測視差圖像遮擋率和錯誤匹配率，若不滿足下式，則視差無效，

D_p＝D_bpif|D_bP-D_mq|＜1

④多基線匹配：通過計算基礎圖像和匹配圖像之間所有對應關系的組合像素匹配成本來完成多基線匹配；

⑤視差優化：可采用峰值濾波消除異常值、選擇強度一致的視差和保留不連續性的插值實現視差優化，

采用最小二乘擬合插值方法對每個超像素區域的基本視差圖進行優化，基本視差圖的優化公式如下：

d＝αx+by+c

式中(a，b，c)為視差平面參數；如果參數(a，b，c)確定，圖像平面上的每個坐標點都對應一個視差值；最小二乘法的公式如下：

設：

由上述式子可以推到出：

五、得到圖像的類別與圖像的位置信息。

2.根據權利要求1所述的運動機器人視覺導航方法，步驟四，基于YOLOv3網絡得到的目標所在的邊界框進行SGBM立體匹配，其特征在于，代價采用WTA算法計算得到代價最小的視差值，采用優勝者全選方式，選取對應匹配代價最小的視差作為最終的視差d(u)，表達式如下：

其中，表示點u在視差為d時的代價聚合值，d(u)表示立體匹配的最終視差結果，表示取當取得最小值時視差d的值。