[發明專利]基于多級融合和角點偏移的圖像旋轉目標檢測方法

有效

• 申請號: 202110403036.4
• 申請日: 2021-04-15
• 公開（公告）號: CN113095316B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李珺;侯彪;焦李成;王爽;任博;任仲樂;馬晶晶;馬文萍
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/24;G06V10/80;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

1.一種基于多級融合和角點偏移的圖像旋轉目標檢測方法，其特征在于，該方法是用生成的訓練集對搭建的深度全卷積神經網絡進行訓練，使用多級融合網絡對主干網絡提取的特征進行雙向融合，使用深度全卷積神經網絡的回歸子網絡和分類子網絡分別獲取目標的旋轉檢測框和類別，對目標的旋轉檢測框進行校正，該方法的具體步驟包括如下：

(1)獲取每個目標的旋轉標注框的最小外接矩形：

(1a)至少選取2000張含有目標的圖像，每張圖像中至少含有一個帶有旋轉標注框的目標，且每個目標至少有一個類別；

(1b)利用多邊形最小外接矩形算法，得到每個目標的旋轉標注框的最小外接矩形；

(2)生成訓練集：

(2a)確定最小外接矩形的上頂點和左頂點：

第一步，當最小外接矩形四個頂點的橫坐標值或縱坐標值相等的頂點個數大于2時，執行第二步，否則，執行第三步；

第二步，選取最小外接矩形中橫、縱坐標值均最小的頂點作為最小外接矩形的上頂點，縱坐標值最小且未被選取的頂點為最小外接矩形的左頂點；

第三步，選取最小外接矩形中橫坐標值最小的頂點作為最小外接矩形的上頂點；選取最小外接矩形中縱坐標值最小的頂點作為最小外接矩形的左頂點；

(2b)利用角點偏移公式，計算最小外接矩形上頂點橫坐標值相對所有頂點最小橫坐標值的橫偏移量和最小外接矩形左頂點縱坐標值相對所有頂點最小縱坐標值的縱偏移量；

(2c)將每個目標的最小外接矩形所有頂點橫坐標的平均值和縱坐標的平均值作為該目標的中心坐標值，將最小外接矩形所有頂點橫坐標中的最大值與橫坐標最小值的差作為該目標的寬，將最小外接矩形所有頂點縱坐標中的最大值與縱坐標最小值的差作為該目標的高；

(2d)將每張圖像中所有目標的類別、橫偏移量、縱偏移量、中心坐標值、寬和高組成該圖像的標簽集；

(2e)將選取的所有圖像和圖像對應的標簽集組成訓練集；

(3)構建深度全卷積神經網絡：

(3a)搭建一個主干網絡以提取圖像的特征，其結構依次為：輸入層，卷積層，池化層，第一瓶頸組，第二瓶頸組，第三瓶頸組，第四瓶頸組；將卷積層的卷積核尺度設置為3*3，卷積核個數設置為64；池化層的池化核尺度設置為3*3；

所述第一瓶頸組由第一到第九共九個卷積層串聯組成，其中，第一卷積層還與第三卷積層連接，第四卷積層還與第六卷積層連接，第七卷積層還與第九卷積層連接；將第一、第三、第四、第六、第七、第九卷積層的卷積核尺度均設置為1*1，卷積核個數均設置為64；將第二、第五、第八卷積層的卷積核尺度均設置為3*3，卷積核個數均設置為256；

第二瓶頸組由第一到第十二共十二個卷積層串聯組成，其中，第一卷積層還與第三卷積層連接，第四卷積層還與第六卷積層連接，第七卷積層還與第九卷積層連接，第十卷積層還與第十二卷積層連接；將第一、第三、第四、第六、第七、第九、第十、第十二卷積層的卷積核尺度均設置為1*1，卷積核個數均設置為128；將第二、第五、第八、第十一卷積層的卷積核尺度均設置為3*3，卷積核個數均設置為512；

第三瓶頸組由第一到第十八共十八個卷積層串聯組成，其中，第一卷積層還與第三卷積層連接，第四卷積層還與第六卷積層連接，第七卷積層還與第九卷積層連接，第十卷積層還與第十二卷積層連接，第十三卷積層還與第十五卷積層連接，第十六卷積層還與第十八卷積層連接；將第一、第三、第四、第六、第七、第九、第十、第十二、第十三、第十五、第十六、第十八卷積層的卷積核尺度均設置為1*1，卷積核個數均設置為256；將第二、第五、第八、第十一、第十四、第十七卷積層的卷積核尺度均設置為3*3，卷積核個數均設置為1024；

第四瓶頸組由第一到第九共九個卷積層串聯組成，其中，第一卷積層還與第三卷積層連接，第四卷積層還與第六卷積層連接，第七卷積層還與第九卷積層連接；將第一、第三、第四、第六、第七、第九卷積層的卷積核尺度均設置為1*1，卷積核個數均設置為512；將第二、第五、第八卷積層的卷積核尺度均設置為3*3，卷積核個數均設置為2048；

(3b)搭建一個由四個結構相同的融合模塊串聯組成的多級融合網絡，實現對主干網絡提取的特征進行雙向融合；每個融合模塊結構為：第一輸入層分別與第一卷積層和第二卷積層連接，第二輸入層分別與第二卷積層和第三卷積層連接，第三輸入層分別與第四卷積層和第五卷積層連接，第四輸入層分別與第六卷積層和第七卷積層連接，第五輸入層與第八卷積層連接，第二卷積層分別與第三卷積層和第四卷積層連接，第三卷積層與第一卷積層連接，第四卷積層分別與第五卷積層和第六卷積層連接，第五卷積層與第三卷積層連接，第六卷積層分別與第七卷積層和第八卷積層連接，第七卷積層與第五卷積層連接；將所有卷積層的卷積核尺度均設置為3*3個節點，卷積核個數均設置為256；

(3c)將主干網絡與多級融合網絡連接后再分別與分類子網絡和回歸子網絡連接，得到深度全卷積神經網絡；

(4)訓練深度全卷積神經網絡：

將訓練集輸入到深度全卷積神經網絡中進行迭代訓練，直至網絡的損失函數收斂為止，得到訓練好的深度全卷積神經網絡；

(5)對圖像中的旋轉目標進行檢測：

用切割間隔為512、大小為1024×1024的矩陣窗口，對待檢測圖像進行切塊處理，將切塊處理后的圖像塊依次輸入到訓練好的深度全卷積神經網絡中，依次輸出每個圖像塊中每個目標旋轉檢測框和類別；

(6)對旋轉目標的邊框進行后處理：

(6a)利用與步驟(1b)相同算法，將得到的每個目標旋轉檢測框的最小外接矩形作為該目標校正后的旋轉檢測框；

(6b)利用非極大值抑制算法，對每個目標校正后的旋轉檢測框進行去重處理，得到該目標最終旋轉檢測框；

(7)將所有目標的最終旋轉檢測框繪制到圖像中對應的位置，得到檢測結果圖。