[發明專利]一種基于關鍵點和圖匹配的車輛跨域重識別方法在審
| 申請號： | 202111114117.9 | 申請日： | 2021-09-23 |
| 公開（公告）號： | CN114091548A | 公開（公告）日： | 2022-02-25 |
| 發明（設計）人： | 汪淑娟;羅慧誠 | 申請（專利權）人： | 昆明理工大學 |
| 主分類號： | G06K9/62 | 分類號： | G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 暫無信息 | 代理人： | 暫無信息 |
| 地址： | 650093 云*** | 國省代碼： | 云南;53 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 關鍵 匹配 車輛 跨域重 識別 方法 | ||
1.一種基于關鍵點和圖匹配的車輛跨域重識別方法，其特征在于，包括如下步驟：
Step1訓練車輛的關鍵點模型：通過訓練集對CNN網絡進行訓練得到關鍵點模型；
Step2基于關鍵點模型進行關鍵點的映射：通過關鍵點模型預測出車輛的關鍵點并映射至transformer模型上；
Step3對訓練集進行特征提取：利用Step2中的transformer模型提取訓練集中車輛圖片的全局特征和局部特征，并對圖像的局部特征賦予權重；
Step4對訓練集中的車輛圖片進行圖匹配：對Step3中得到的每張圖片的全局特征和局部特征進行拼接操作，得到代表圖片的特征組，對任意兩張圖片的特征組進行圖匹配操作，最后輸出得到車輛跨域重識別模型；
Step5利用Step4中得到的車輛跨域重識別模型對跨域車輛進行重識別。
2.根據權利要求1所述的基于關鍵點和圖匹配的車輛跨域重識別方法，其特征在于，所述Step1中訓練集中的圖片包含整輛車36個車輛關鍵點，以車輛關鍵點的標注作為坐標標簽，對HRNet網絡進行訓練得到車輛的關鍵點模型。
3.根據權利要求1所述的基于關鍵點和圖匹配的車輛跨域重識別方法，其特征在于，所述Step2的具體步驟如下：通過關鍵點模型預測出車輛的關鍵點s的坐標(sx,sy)和坐標(sx,sy)的可信賴度e，用transformer模型中多頭注意力層得到的patch塊來取代關鍵點模型中得到的關鍵點，即從transformer模型所有patch塊里選擇x個和關鍵點模型預測出的關鍵點相匹配的patch塊t，得到的patch塊作為下一步加權和圖匹配的輸入，得到patch塊的過程如下：
其中，transformer模型滑動的步長為d，patch塊的邊長為h，W代表圖片的寬度，Relu代表一種激活函數，t代表由關鍵點模型預測出的關鍵點映射到transformer模型的patch塊。
4.根據權利要求1所述的基于關鍵點和圖匹配的車輛跨域重識別方法，其特征在于，所述Step3中車輛局部特征的提取如下：用四個patch塊做拼接操作來代表車輛的某個區域，接著經過兩個完全連接層FC1和FC2，再經過一個softmax函數，得到代表車輛某個部件最關鍵信息的車輛語義特征Fl即車輛的局部特征，總共得到m個局部特征，通過如下的公式為局部特征賦予權重Wl：
5.根據權利要求4所述的基于關鍵點和圖匹配的車輛跨域重識別方法，其特征在于，將得到的所述m個局部特征的權重和車輛的交叉熵損失做一個相乘，對車輛的身份做一個局部意義上的約束。
6.根據權利要求1所述的基于關鍵點和圖匹配的車輛跨域重識別方法，其特征在于，所述Step3中用全局特征和車輛的交叉熵損失做一個相乘，對車輛的身份做一個全局意義上的約束。
7.根據權利要求1所述的基于關鍵點和圖匹配的車輛跨域重識別方法，其特征在于，在所述transformer模型訓練的過程中加入源域車輛和目標域車輛的攝像頭標簽，引入攝像頭分類對抗，來實現車輛的域自適應，假設源域的攝像頭有u個，目標域的攝像頭有v個，x為源域真實的攝像頭標簽，為transformer模型預測出的攝像頭標簽，y為目標域真實的攝像頭標簽，為transformer模型預測出的目標域攝像頭標簽，源域和目標域的批次均為bs，在訓練的前d代，我們讓transformer模型能夠準確地分類源域和目標域的攝像頭標簽，表示在訓練的前d代攝像頭正確分類的損失；
在d代以后，將源域和目標域的攝像頭分到第u+v+1類上，以此類克服域差異帶來的影響，其中，z為第u+v+1類的攝像頭標簽，為transformer模型預測出的攝像頭標簽，表示在訓練的d代以后攝像頭分到第u+v+1類的損失；
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于昆明理工大學，未經昆明理工大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202111114117.9/1.html，轉載請聲明來源鉆瓜專利網。
