[發明專利]一種具備快速適應力的豬只檢測和追蹤方法及裝置

在審

• 申請號: 202210584958.4
• 申請日: 2022-05-27
• 公開（公告）號: CN114926502A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 李偉銘
• 申請（專利權）人: 中新國際聯合研究院
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/292;G06V40/10;G06V20/40;G06V10/62;G06V10/74;G06V10/774;G06V10/82;G06N3/08;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李盛洪

1.一種具備快速適應力的豬只檢測和追蹤方法，其特征在于：包括以下步驟：

步驟S1：通過安裝在農場的若干攝像頭實時采集大量豬只無標注視頻數據；

步驟S2：將上述無標注視頻數據輸入至Vision Transformer模型中；

步驟S3：上述無標注視頻數據對Vision Transformer模型進行預訓練，得到預訓練后的Vision Transformer模型；并從預訓練后的Vision Transformer模型輸出特征信息；

步驟S4：將極少量帶豬只位置標注圖片數據輸入到豬只檢測模型中，并通過上述數據對豬只檢測模型進行訓練，得到訓練后的豬只檢測模型，并從訓練后的豬只檢測模型輸出豬只框信息；

步驟S5：將步驟S3中得到的特征信息和步驟S4中得到的豬只框信息一起輸入到豬只追蹤模塊中；

步驟S6：通過豬只追蹤模塊評估出相鄰幀為同一豬只的一對豬只框，進而輸出豬只追蹤標注信息。

2.根據權利要求1所述的一種具備快速適應力的豬只檢測和追蹤方法，其特征在于：所述步驟S3使用無標注視頻數據對Vision Transformer模型進行預訓練包括以下步驟；

步驟S31：在輸入的無標注視頻數據中提取T幀視頻，每幀寬為W，高為H，進而一個視頻可以表達為T×W×H的三階張量；

步驟S32：將上述三階張量分割為K幀×N像素×M像素的小方塊；一共有(T/K)×(W/N)×(H/M)個小方塊；

步驟S33：隨機刪除50％-60％K幀×N像素×M像素的小方塊，將剩余的每個小方塊按像素點順序排列，轉換為向量；

步驟S34：將上述生成的向量都通過一個全連接層，全連接層輸出的向量的維度為D維，將輸出的D維向量嵌入一個位置編碼變為具有位置編碼的D維向量，位置編碼為T×W×H的三階張量中的唯一能夠識別這個小方塊的編碼，將帶位置編碼的D維向量作為Transformer網絡的輸入向量；

步驟S35：使用平方差損失函數計算出原始小方塊的像素值與Transformer網絡輸出的向量之間的差距信息，反饋給模型，從而進行梯度下降，優化模型參數；經過多輪梯度下降迭代，最終可以獲得根據40％-50％的小方塊中包含的信息，預測所有的(T/K)×(W/N)×(H/M)個小方塊的像素信息，通過預訓練后的Vision Transformer模型。

3.根據權利要求2所述的一種具備快速適應力的豬只檢測和追蹤方法，其特征在于：所述步驟S4使用極少量帶豬只位置標注圖片數據對豬只檢測模型進行訓練包括以下步驟；

步驟S41：對每一張標注有豬只位置的圖片進行分割，得到(W/N)×(H/M)個小方格；

步驟S42：在每個方格上面定義P個大小不同的錨點框，使用一個單層全連接網絡，將含有豬只特征的錨點框作為正樣本、不含豬只特征的錨點框作為負樣本輸入網絡，經過訓練最終獲得可以將錨點框分類為豬錨點框和非豬錨點框的網絡；

步驟S43：使用一個單層全連接網絡，對錨點框的位置進行調整，使之更接近標注的豬只框，所述豬只框為豬只位置標注信息的形象化，將實際豬只位置信息作為正樣本、判別為豬錨點框的位置信息作為負樣本，經過訓練最終獲得可以輸出豬只框信息的網絡；這一步僅僅訓練上述兩個單層全連接網絡；所述Transformer網絡保持不變。

4.根據權利要求3所述的一種具備快速適應力的豬只檢測和追蹤方法，其特征在于：所述步驟S5中豬只追蹤模塊包括以下步驟；

步驟S51：通過上述豬只檢測模型檢測出相鄰兩幀的所有的豬只框；

步驟S52：將每一個豬只框內的像素點按順序排列，轉化為向量，輸入到預訓練后的Vision Transformer網絡中，提取出每一個豬只框的特征信息；

步驟S53：對相鄰幀的豬只框進行兩兩組合，利用上述特征信息，計算出他們的余弦相似度；

步驟S54：利用匈牙利算法，找到前一幀的所有豬只框和后一幀的所有豬只框之間的最佳匹配；這里不需要經過任何網絡訓練，大幅減少對訓練數據的需求。

5.一種采用權利要求1至4任意一種具備快速適應力的豬只檢測和追蹤方法的裝置，其特征在于，包括若干裝設在農場內部的攝像頭，所述攝像頭對豬只進行攝像，實時采集到大量豬只無標注視頻數據；

所述無標注視頻數據進行上傳，并存儲至計算機服務器中，所述計算機服務器上還搭載有Vision Transformer模型、豬只檢測模型和豬只追蹤模型；

所述無標注視頻數據作為輸入，對Vision Transformer模型進行預訓練；得到預訓練后的Vision Transformer模型，預訓練后的Vision Transformer模型實現特征信息的提取；

再通過少量農場真實標注的數據進行豬只檢測模型訓練，訓練完成后的豬只檢測模型實現豬只框信息的提取；

將得到的特征信息和豬只框信息一起輸入到豬只追蹤模塊中，進而實現追蹤整個視頻的豬只；獲得帶有豬只框視頻數據的輸出。