[發明專利]一種基于圖像的動物物種細分類方法、系統及介質

有效

• 申請號: 202010189744.8
• 申請日: 2020-03-18
• 公開（公告）號: CN111046858B
• 公開（公告）日: 2020-09-08
• 發明（設計）人: 陳鵬;候蓉;趙啟軍;劉寧;劉鵬;陳玉祥;楊琬婧;張志和
• 申請（專利權）人: 成都大熊貓繁育研究基地;四川大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 鄒成嬌

1.一種基于圖像的動物物種細分類方法，其特征在于，包括：

獲取動物待分類圖像；

利用卷積神經網絡定位所述圖像中含有動物的目標區域，并進行動物物種粗分類得到動物所屬物種；

判斷動物所屬物種是否為已知物種；

若否，則判定動物為新物種；

若是，則將含有動物的目標區域的圖像輸入細分類網絡模型中識別出動物的具體類別；

判斷動物的具體類別是否為已知類別；

若是，則輸出動物的類別；

若否，則判定動物為新物種；

將含有動物的目標區域的圖像輸入細分類網絡模型中識別出動物的具體類別的方法包括：

將含有動物的目標區域的圖像輸入訓練好的細分類網絡模型中，輸出特征圖S；

將特征圖S分別輸入訓練好的A分支卷積神經網絡和B分支卷積神經網絡，A分支卷積神經網絡和B分支卷積神經網絡分別得到相應的熱力圖S_2A和S_2B；

將A分支卷積神經網絡的熱力圖S_2A和B分支卷積神經網絡的熱力圖S_2B進行相加，將相加得到的結果通過GAP層得到向量Y；

對所述向量Y進行非最大值抑制處理，最大概率所對應的類別為識別出的動物類別；

在所述將含有動物的目標區域的圖像輸入訓練好的細分類網絡模型中的步驟之前還包括對細分類網絡模型進行訓練，訓練的方法包括：將每一個已知動物物種的圖片進行預處理；

將預處理后的圖片輸入基礎網絡模型中，輸出K張W×H的特征圖S∈R^K×W×H，K為自然數，W為特征圖的寬度，H為特征圖的高度；

將特征圖S分別輸入A分支卷積神經網絡和B分支卷積神經網絡中，

從A分支卷積神經網絡輸出k張w×h的特征圖S_1A∈R^k×w×h，再經過GAP層得到相應的特征向量F_A∈R^k×1×1；

從B分支卷積神經網絡輸出k張w×h的特征圖S_1B∈R^k×w×h，再經過GAP層也可以得到相應的特征向量F_B∈R^k×1×1；

其中，k為自然數，w為分支卷積神經網絡輸出的特征圖的寬度，h為分支卷積神經網絡輸出的特征圖的高度；

將所述F_A和F_B分別接入Triplet Loss損失函數；

設定一個已知動物物種的類別為p，將所述特征圖S_1A通過第一卷積核，第一卷積核為p個1×1的卷積核，得到p張w×h的熱力圖S_2A∈R^p×w×h；

假設輸入圖片的類別屬于第i類，從A分支卷積神經網絡的熱力圖S_2A中抽取第i張熱力圖S_2A[i]∈R^w×h；

對所述熱力圖進行negative操作，得到相應的mask∈R^w×h；

將所述特征圖S_1B通過第二卷積核，所述第二卷積核為p個1×1的卷積核，得到p張w×h的熱力圖S_2B∈R^p×w×h，將B分支卷積神經網絡的熱力圖S_2B中的第i張熱力圖S_2B[i]∈R^w×h乘以mask；

將A分支卷積神經網絡的熱力圖S_2A通過GAP層后會分別得到一個p維的向量Y_A，Y_A＝[y₀^A，y₁^A，...y_p-1^A]，同時將B分支的熱力圖S_2B通過GAP層后會分別得到一個p維的向量Y_B，Y_B＝[y₀^B，y₁^B，...y_p-1^B]，分別將Y_A和Y_B接入Softmax Loss損失函數對細分類網絡模型訓練。