[發明專利]一種基于多角度深度信息融合的奶牛體況評分方法及系統

在審

• 申請號: 202011224921.8
• 申請日: 2020-11-05
• 公開（公告）號: CN112381774A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 肖德琴;劉又夫;黃一桂;楊文濤;殷建軍;林思聰
• 申請（專利權）人: 華南農業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 張金福

1.一種基于多角度深度信息融合的奶牛體況評分方法，其特征在于，包括以下步驟：

S1：從多個角度獲取奶牛的RGB-D視頻；

S2：從RGB-D視頻中提取關鍵幀組；

S3：構建基于多角度深度信息融合的奶牛體況評分網絡，并對奶牛體況評分網絡進行訓練，得到訓練好的奶牛體況評分網絡；

S4：將奶牛的關鍵幀組輸入訓練好的奶牛體況評分網絡中進行體況評分，得到評分結果。

2.根據權利要求1所述的一種基于多角度深度信息融合的奶牛體況評分方法，其特征在于，步驟S2包括以下步驟：

S2.1：在RGB-D視頻中設置感興趣區域；

S2.2：對RGB-D視頻進行奶牛臀部的目標檢測；

S2.3：將檢測到的奶牛臀部與對應的奶牛的耳標信息相關聯，同時創建追蹤器在RGB-D視頻的每幀畫面中對檢測到的奶牛臀部進行濾波追蹤；

S2.4：判斷當前幀的追蹤器所追蹤的幀數是否達到預設的幀數閾值；

若達到，則在當前幀進行目標檢測，得到檢測結果；

若未達到，則追蹤器繼續下一幀的濾波追蹤，并返回步驟S2.4；

S2.5：判斷追蹤器在當前幀畫面中是否處于感興趣區域內；

若處于，則將當前幀作為關鍵幀，并從各個角度獲取的RGB-D視頻中提取相應的關鍵幀形成一個關鍵幀組，即每個關鍵幀組有四個關鍵幀；

若不處于，則認為所檢測的奶牛已離開，執行步驟S2.9；

S2.6：判斷關鍵幀組的數量是否達到預設的組數閾值；

若達到，則執行步驟S2.9；

若未達到，則執行步驟S2.7；

S2.7：計算檢測結果的矩形框與追蹤器在當前幀的矩形框的IoU；

S2.8：判斷IoU是否達到預設的IoU閾值；

若達到，則以檢測結果的矩形框更新追蹤器的矩形框，追蹤器繼續下一幀的濾波追蹤，并返回步驟2.4；

若未達到，則認為所檢測的奶牛已離開，執行步驟S2.9；

S2.9：儲存得到的關鍵幀組。

3.根據權利要求2所述的一種基于多角度深度信息融合的奶牛體況評分方法，其特征在于，在步驟S2.1中，采用輕量級網絡MobilenetV3對SSD算法的特征提取網絡進行改進，得到改進的SSD算法，然后通過改進的SSD算法對奶牛的RGB-D視頻進行奶牛臀部的目標檢測。

4.根據權利要求3所述的一種基于多角度深度信息融合的奶牛體況評分方法，其特征在于，在通過改進的SSD算法對奶牛的RGB-D視頻進行奶牛臀部的目標檢測之前，還包括對改進的SSD算法進行網絡的調參以及訓練，得到訓練好的SSD算法。

5.根據權利要求2所述的一種基于多角度深度信息融合的奶牛體況評分方法，其特征在于，在步驟S2.3中，采用KCF算法創建追蹤器。

6.根據權利要求1所述的一種基于多角度深度信息融合的奶牛體況評分方法，其特征在于，在步驟S1中，分別從奶牛臀部的左側、右側、正側和上側對奶牛臀部進行拍攝得到奶牛的RGB-D視頻。

7.根據權利要求6所述的一種基于多角度深度信息融合的奶牛體況評分方法，其特征在于，在步驟S3中，所述奶牛體況評分網絡包括四個輸入層、四個淺層特征提取網絡、四個深層特征提取網絡、一個全連接層和一個輸出層；其中，四個輸入層分別與四個淺層特征提取網絡對應連接，四個淺層特征提取網絡分別與四個深層特征提取網絡對應連接，四個深層特征提取網絡均通過全連接層與輸出層連接。

8.根據權利要求7所述的一種基于多角度深度信息融合的奶牛體況評分方法，其特征在于，所述奶牛體況評分網絡采用并聯輸入的結構，且對于每一個輸入均包括R、G、B、D四個通道。