[發明專利]一種基于緊致四邊形表示的建筑物目標檢測方法

有效

• 申請號: 202010794953.5
• 申請日: 2020-08-10
• 公開（公告）號: CN112084869B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 劉慶杰;高廣帥;王蘊紅
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/25;G06V10/44;G06V10/82;G06N3/0464
• 代理公司: 北京航智知識產權代理事務所(普通合伙) 11668
• 代理人: 黃川;史繼穎

1.一種基于緊致四邊形表示的建筑物目標檢測方法，其特征在于，包括如下步驟：

S1：將待檢測圖像輸入特征提取網絡，通過自底向上的方式由淺到深提取特征，對提取的特征進行自頂向下的側向連接，生成含有豐富語義信息、具有多個尺寸特征圖的特征金字塔結構；

S2：將所述特征金字塔結構作為正矩形邊界框分支的輸入，所述正矩形邊界框分支在所述特征金字塔結構的每個尺寸特征圖上進行建筑物目標的分類任務和正矩形邊界框的回歸任務；

S3：以所述特征金字塔結構和所述正矩形邊界框分支為輸入，通過緊致四邊形邊界框分支獲得建筑物目標的緊致四邊形邊界框，得到建筑物目標的輪廓；

步驟S3，以所述特征金字塔結構和所述正矩形邊界框分支為輸入，通過所述緊致四邊形邊界框分支獲得建筑物目標的緊致四邊形邊界框，得到建筑物目標的輪廓，具體包括：

使用十維向量表示緊致四邊形邊界框，定義如下：

t_*＝(x,y,w_n,h_n)???????????(5)

其中，(x,y)表示緊致四邊形邊界框的最小外接正矩形邊界框的中心點坐標；(w_n,h_n)表示緊致四邊形邊界框的第n個節點距離中心點坐標的相對位置，n＝1,2,3,4；十維向量與緊致四邊形邊界框的四個節點(x_n,y_n)的變換過程如下：

(x_n,y_n)＝(x+w_n,y+h_n)?????????(6)

將所述特征金字塔結構中的五個尺寸的特征圖{P₃,P₄,P₅,P₆,P₇}作為所述緊致四邊形邊界框分支的輸入，根據所述正矩形邊界框分支輸出的正矩形邊界框(l^*,t^*,r^*,b^*)和正矩形邊界框對應的正樣本點的坐標(x₀,y₀)，確定正矩形邊界框的四個坐標點(x_bn,y_bn)，再變換到(x_b,y_b,w_b,h_b)的形式，其中，(x_b,y_b)表示正矩形邊界框的中心點坐標，w_b,h_b分別表示正矩形邊界框的寬和高；

針對每個尺寸的特征圖上的各坐標點，判斷坐標點映射到待檢測圖片的坐標是否落在建筑物目標的緊致四邊形邊界框中；若是，則將坐標點認定為緊致四邊形邊界框對應的正樣本點；若否，則將坐標點認定為緊致四邊形邊界框對應的負樣本點；

對于每個正樣本點，緊致四邊形邊界框回歸的計算公式為：

其中，(x_B,y_B)表示緊致四邊形邊界框對應的正樣本點的坐標，(x'_n,y'_n)表示正樣本點對應的建筑物目標的緊致四邊形邊界框的四個節點的坐標；表示正樣本點與建筑物目標的緊致四邊形邊界框的四個節點之間的距離；

在平行于分類任務的分支上增加一個輸出為一維的卷積，得到緊致四邊形邊界框的中心度得分；根據回歸的建筑物目標的緊致四邊形邊界框對應的和公式(7)，求出正樣本點對應的建筑物目標的緊致四邊形邊界框的四個節點的坐標(x'_n,y'_n)，再根據公式(6)得到十維向量(x,y,w_n,h_n)的形式；根據回歸的建筑物目標的緊致四邊形邊界框對應的(x,y,w_n,h_n)，將與中心度分類分支對應的建筑物目標的緊致四邊形邊界框回歸任務定義為：

其中，分別表示緊致四邊形邊界框的四個節點距中心點坐標的相對位置的真實值；

對緊致四邊形邊界框對應的十維向量進行參數化處理：

其中，d_x,d_y,分別表示預測的緊致四邊形邊界框與正矩形邊界框之間的偏移，分別表示真實的緊致四邊形邊界框與正矩形邊界框之間的偏移；(x',y')表示預測的緊致四邊形邊界框的中心點坐標，(x^*,y^*)表示真實的緊致四邊形邊界框的中心點坐標，(w'_n,h'_n)表示緊致四邊形邊界框的四個節點距中心點坐標的相對位置的預測值，表示緊致四邊形邊界框的四個節點距中心點坐標的相對位置的真實值；

整個網絡的訓練過程，具體包括：

使用聯合損失函數對整個網絡進行優化，聯合損失函數由分類損失函數正矩形邊界框的中心度損失函數緊致四邊形邊界框的中心度損失函數正矩形邊界框回歸損失函數和緊致四邊形邊界框回歸損失函數組成，定義如下：

其中；θ和Θ分別表示訓練批次中的第θ幅圖片和批次圖片數量，Θ＝3；

針對單幅圖片，緊致四邊形邊界框的各子項損失函數定義如下：

分類損失函數：

L_cls(p_t)＝-(1-p_t)^γlog(p_t)?????????????(11)

其中，p_t表示是建筑物目標的概率，γ表示可調節的聚焦參數，設定γ＝2；

正矩形邊界框的中心度損失函數和緊致四邊形邊界框的中心度損失函數均采用二分類交叉熵損失函數；

正矩形邊界框回歸損失函數：

L_bbox(bbox,bbox^*)＝-log(IOU(bbox,bbox^*))???????(12)

其中，bbox表示預測的正矩形邊界框，bbox^*表示真實的正矩形邊界框；IOU(·)表示交并比函數；

緊致四邊形邊界框回歸損失函數：

其中，i和N_tqr分別表示緊致四邊形邊界框的索引號和總數量，總數量為1000；d_i表示預測的緊致四邊形邊界框，表示真實的緊致四邊形邊界框；λ為權重參數，設定為10；