[發(fā)明專利]一種基于文本特征融合的細粒度車輛識別系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202210052681.0
• 申請日: 2022-01-18
• 公開（公告）號: CN114067294B
• 公開（公告）日: 2022-05-13
• 發(fā)明（設計）人: 章依依;曹衛(wèi)強;徐曉剛;王軍;虞舒敏;應志文
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V20/62;G06V10/40;G06V10/74;G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝;楊小凡

1.一種基于文本特征融合的細粒度車輛識別系統(tǒng)，包括：特征提取模塊、分類層、文本表示網絡、相似度計算模塊、融合標簽計算模塊、散度損失計算模塊，其特征在于特征提取模塊分別與分類層連接，相似度計算模塊分別與特征提取模塊、文本表示網絡、融合標簽計算模塊連接，散度損失計算模塊分別與分類層、融合標簽計算模塊連接；

所述特征提取模塊，用于提取圖像的特征向量；

所述分類層，通過圖像的特征向量，得到預測標簽分布；

所述文本表示網絡，用于獲取圖像標簽的語義特征；

所述相似度計算模塊，通過圖像的特征向量與圖像標簽的語義特征，得到強化標簽分布；所述相似度計算模塊，包括全連接神經網絡和softmax層，將圖像特征向量，與作為圖像標簽語義特征的標簽詞向量相乘，輸入全連接神經網絡和softmax層，得到強化標簽分布；

所述融合標簽計算模塊，將強化標簽分布與原標簽向量進行加權融合，得到融合標簽分布；

所述散度損失計算模塊，將預測標簽分布與融合標簽分布的相似度作為損失，指導整個系統(tǒng)的訓練。

2.根據權利要求1所述的一種基于文本特征融合的細粒度車輛識別系統(tǒng)，其特征在于所述特征提取模塊為深度卷積網絡，提取圖像特征，得到圖像特征向量。

3.根據權利要求2所述的一種基于文本特征融合的細粒度車輛識別系統(tǒng)，其特征在于所述分類層，包括全連接層和softmax層，將所述圖像特征向量輸入全連接層，再通過softmax層，得到預測標簽分布。

4.根據權利要求1所述的一種基于文本特征融合的細粒度車輛識別系統(tǒng)，其特征在于所述文本表示網絡，獲取數據集各子類標簽，得到各標簽的詞向量。

5.根據權利要求1所述的一種基于文本特征融合的細粒度車輛識別系統(tǒng)，其特征在于所述融合標簽計算模塊，將強化標簽分布與原標簽向量進行加權融合，得到融合標簽分布：

其中，超參數取值范圍為，用于控制與的權重。

6.根據權利要求5所述的一種基于文本特征融合的細粒度車輛識別系統(tǒng)，其特征在于所述超參數的取值為0.3。

7.根據權利要求1所述的一種基于文本特征融合的細粒度車輛識別系統(tǒng)，其特征在于所述散度損失計算模塊，計算預測標簽分布與融合標簽分布的JS散度，以度量所述預測標簽分布與所述融合標簽分布之間的相似度，并作為損失函數指導整個系統(tǒng)的訓練。

8.一種基于文本特征融合的細粒度車輛識別方法，其特征在于包括如下步驟：

步驟S1，構建細粒度車輛圖像分類數據集，并劃分訓練集和測試集，其中包括多種車輛類別；

步驟S2，將訓練圖像進行特征提取，得到圖像的特征向量；

步驟S3，對圖像特征向量進行分類，得到預測標簽分布；

步驟S4，將數據集各子類標簽輸入預先訓練好的文本表示網絡，獲取圖像標簽的詞向量；

步驟S5，融合標簽計算，包括如下步驟：

步驟S51，通過圖像的特征向量與圖像標簽的詞向量，得到強化標簽分布；相似度計算模塊，包括全連接神經網絡和softmax層，將圖像特征向量與作為圖像標簽語義特征的標簽詞向量相乘，計算兩者之間的相似度向量，輸入全連接神經網絡和softmax層，得到強化標簽分布；

步驟S52，將強化標簽分布與原標簽向量進行加權融合，得到融合標簽分布；

步驟S6，將預測標簽分布與融合標簽分布的相似度作為損失，指導整個系統(tǒng)的訓練；

步驟S7，推理階段，將待測圖像依次進行特征提取與分類層，根據預測的標簽分布確定圖像類別。

9.根據權利要求8所述的一種基于文本特征融合的細粒度車輛識別方法，其特征在于通過圖像類別的準確率的上升幅度，推測出該類別對應的數據集中，存在噪聲標簽的多少，從而對該數據集進行修正。