[發(fā)明專利]一種基于殘差SSD模型的交通標(biāo)志檢測與識別方法

在審

• 申請?zhí)枺?/td>: 201810850416.0
• 申請日: 2018-07-28
• 公開（公告）號: CN108960198A
• 公開（公告）日: 2018-12-07
• 發(fā)明（設(shè)計）人: 張淑芳;朱彤
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李素蘭

1.一種基于殘差SSD模型的交通標(biāo)志檢測與識別方法，其特征在于，該方法具體包括以下步驟：

第一步：對圖像進(jìn)行多尺度分塊，即使用滑窗法對待檢測圖像劃分出多組圖像塊；相應(yīng)地，對圖像的包括其中標(biāo)志包圍框的四個坐標(biāo)值、標(biāo)志的類別在內(nèi)的標(biāo)簽信息也進(jìn)行分解到圖像塊層級；對每個圖像塊進(jìn)行搜索，當(dāng)存在某個標(biāo)志包圍框50％以上的面積區(qū)域落在此圖像塊上時，認(rèn)為此圖像塊包含該標(biāo)志，保留此圖像塊；否則舍棄；將所有包含標(biāo)志的圖像塊全部投入網(wǎng)絡(luò)，并隨機(jī)篩選一部分不包含標(biāo)志的圖像塊進(jìn)行訓(xùn)練以實現(xiàn)網(wǎng)絡(luò)對背景區(qū)域的識別；

第二步：構(gòu)建殘差SSD模型，即用殘差網(wǎng)絡(luò)ResNet101作為SSD的基礎(chǔ)網(wǎng)絡(luò)，所構(gòu)建的殘差SSD模型由原卷積層conv1、殘差結(jié)構(gòu)層Res2x～Res5x以及新添加的輔助卷積層Conv2～Conv5組成；具體特征描述如下：

(1)在殘差網(wǎng)絡(luò)ResNet101的最頂層Res5c之后依次添加4組卷積層Conv2～Conv5，構(gòu)成更加豐富的特征圖，其中，每一組卷積層都包含256個1×1卷積濾波器和512個3×3卷積濾波器，實現(xiàn)多尺度特征圖檢測；

(2)將與原圖中對象包圍框重疊率高于0.5的默認(rèn)框作為網(wǎng)絡(luò)的預(yù)測目標(biāo)區(qū)域，并產(chǎn)生預(yù)測目標(biāo)在此區(qū)域?qū)儆诿恳活惖腟oftmax分?jǐn)?shù)值以及與默認(rèn)框的相對位置偏移量。Softmax計算公式如式(1)所示，其中c_i表示第i類標(biāo)志的預(yù)測值(各類標(biāo)志及其名稱見圖1)：

經(jīng)過Softmax之后各類標(biāo)志的預(yù)測值將分布在(0,1)之間，作為每一類的分?jǐn)?shù)值；

(3)將默認(rèn)框與網(wǎng)絡(luò)頂層(包括Res3b3、Res5c、Pool6以及新添加的Conv2、Conv3、Conv4、Con5)每個特征圖單元關(guān)聯(lián)，默認(rèn)框?qū)μ卣鲌D作卷積運算，使得每個框?qū)嵗鄬τ诟鲉卧竦奈恢檬枪潭ǖ模皇褂镁哂胁煌瑢捀弑鹊哪J(rèn)框，有效地離散輸出框的形狀，提高匹配的可能性和速度；

第三步：網(wǎng)絡(luò)訓(xùn)練，即首先對殘差網(wǎng)絡(luò)的權(quán)重進(jìn)行高斯隨機(jī)初始化，然后采用如下的學(xué)習(xí)策略對網(wǎng)絡(luò)進(jìn)行訓(xùn)練：

(1)綜合使用第二步所述的7個不同尺度層的特征圖進(jìn)行預(yù)測，實現(xiàn)多尺度檢測與識別，Res5c之后每個特征圖上的默認(rèn)框尺度計算公式如式(1)所示：

其中s_min、s_max分別表示Res5c和最頂層Pool6中默認(rèn)框的尺度，設(shè)置為0.04和0.49，中間各層的尺度在此范圍內(nèi)等差間隔。特別的，選擇Res3b3層默認(rèn)框的尺度為0.01；此外，7個尺度層的寬高比a均設(shè)置為則相應(yīng)默認(rèn)框的寬w、高h(yuǎn)計算公式如式(2)所示：

其中，w、h分別表示默認(rèn)框的寬、高；

除最后一層外，還在每層增加一組a＝1、尺度為的默認(rèn)框，設(shè)置默認(rèn)框的中心為其中是第k層上方形特征圖的尺寸，i,j∈[0,L_k)。由此可以得到最后一層特征圖包含默認(rèn)框數(shù)量為5，其他各層特征圖上默認(rèn)框的數(shù)量為6L_k²，網(wǎng)絡(luò)產(chǎn)生的默認(rèn)框總數(shù)為32765。對于512×512的圖像塊，利用上面的默認(rèn)框則能夠檢測出尺寸大小在(5,273)范圍內(nèi)的標(biāo)志，這與我們數(shù)據(jù)集標(biāo)志的大小范圍一致。

(2)使用Jaccardoverlap策略來匹配目標(biāo)框和默認(rèn)框；首先對每一個目標(biāo)框，找到與其JaccardOverlap最大的默認(rèn)框，作為最佳匹配；之后為了簡化學(xué)習(xí)，計算每個默認(rèn)框與目標(biāo)框的JaccardOverlap，只要大于某個閾值時，則認(rèn)為此默認(rèn)框與目標(biāo)框相匹配。JaccardOverlap計算公式如式(3)所示：

其中，A、B分別表示默認(rèn)框與目標(biāo)框內(nèi)所有像素組成的集合區(qū)域。本發(fā)明中，JaccardOverlap的閾值設(shè)置為0.5。

(3)將模型訓(xùn)練的目標(biāo)函數(shù)用預(yù)測總誤差表示，預(yù)測總誤差由分類與檢測的誤差加權(quán)求和得到，計算公式如式(4)所示。

其中，L表示總誤差，權(quán)值α設(shè)置為1，L_conf和L_loc分別表示分類誤差和檢測誤差；如式(5)所示和式(6)所示，

其中，x表示每個預(yù)測框與目標(biāo)框的匹配標(biāo)志(x＝1表示匹配，x＝0表示不匹配)，例如表示類別為p的第i個默認(rèn)框與第j個目標(biāo)框相匹配；c表示類別預(yù)測的分?jǐn)?shù)(置信度)，l表示預(yù)測框，g表示目標(biāo)框，N表示默認(rèn)框的數(shù)量。若N＝0，認(rèn)為總誤差L為0。

(4)數(shù)據(jù)擴(kuò)充

為了增加樣本數(shù)量，提高訓(xùn)練出適應(yīng)各種大小和形狀輸入的健壯模型，對每個原始圖像塊采用以下方法之一生成新的圖像塊數(shù)據(jù)：

a.使用原始圖像塊；

b.對原始圖像塊進(jìn)行采樣，使得采樣后的圖像塊與原圖像塊的Jaccard Overlap(杰卡爾重疊率，即交并比)分別為0.1,0.3,0.5,0.7,0.9；

c.對原始圖像塊隨機(jī)采樣。

其中抽樣后的圖像塊是原圖像塊大小的0.1～1倍，寬高比在0.5～2之間。最后將所有圖像塊統(tǒng)一至512×512大小，并添加水平翻轉(zhuǎn)和失真；

(5)負(fù)樣本挖掘

當(dāng)目標(biāo)框的中點落在抽樣后的圖像塊中時，裁去目標(biāo)框落在圖像塊外面的部分，并在該圖像塊中將裁剪后的目標(biāo)框標(biāo)記為一個正樣本；否則標(biāo)記為負(fù)樣本；在每次迭代之后都對所有默認(rèn)框的L_conf值進(jìn)行排序，將值最大的若干默認(rèn)框標(biāo)記為負(fù)樣本，使得正負(fù)樣本的數(shù)量比例保持在1:3；

第四步：完成具有泛化能力的檢測與識別：考慮滑窗法滑動至圖像寬、高方向的邊界時殘留圖像塊的面積可能小于滑窗面積，而測試圖像在邊緣處一般不存在標(biāo)志；此時不再滑動，將不完整的塊丟棄；另外，采取一種由粗到精的檢測策略，該流程包括：首先，對中等尺度下的全部圖像塊進(jìn)行初步殘差SSD檢測；接著將置信度高于0.3的結(jié)果映射回原圖；對其他四個尺度下的圖像塊，若其與初檢預(yù)測框重疊(Jaccard Overlap>0)，則將其選中投入殘差SSD檢測，否則舍棄；將以上兩步的結(jié)果進(jìn)行綜合，在原圖像上利用非極大值抑制進(jìn)行篩選，完成檢測與識別。

2.如權(quán)利要求1所述的一種基于殘差SSD模型的交通標(biāo)志檢測與識別方法，其特征在于，其中非極大值抑制的過程如下：對所有預(yù)測框按照分?jǐn)?shù)值進(jìn)行從高到低排序，判斷分?jǐn)?shù)最高的預(yù)測框與其他預(yù)測框的Jaccard Overlap，若大于閾值，則將其他預(yù)測框丟棄；接著判斷分?jǐn)?shù)次高的預(yù)測框與其他預(yù)測框的Jaccard Overlap，丟棄大于閾值的那些預(yù)測框；接著判斷分?jǐn)?shù)第三高的預(yù)測框.......如此進(jìn)行下去，直到遍歷完所有預(yù)測框。