[發明專利]基于TensorflowJs的奶牛進食和反芻識別與統計方法

在審

• 申請號: 202210193244.0
• 申請日: 2022-03-01
• 公開（公告）號: CN114582015A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 楊智清;張宇;徐金賀
• 申請（專利權）人: 東北農業大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V20/52;G06V10/774;G06K9/62;G06Q50/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于SSD MobileNet V2目標檢測模型的奶牛進食和反芻識別與統計方法，其特征在于：包括如下步驟：

步驟S1：使用影響采集設備在一天中不同時段、光照及角度采集奶牛進食和反芻的視頻；

步驟S2：將采集到的每頭奶牛進食、反芻時的視頻分幀處理，并人工挑選嘴部特征明顯的圖像，使用labelimg工具將分幀后的圖像進行標注；

步驟S3：對影像數據進行旋轉,白化等處理使其符合SSD MobileNet V2模型的輸入格式要求,通過圖像變換,調節影像數據光學參數等一系列方法,人工增加牛嘴部影像數據集的大小,將處理后的影像數據按一定比例分為訓練數據集、測試數據集，最后將訓練集和驗證集都轉化為TFRecord格式；

步驟S4：使用Tensorflow構造SSD MobileNet V2目標檢測模型,使用訓練數據集對該模型進行訓練；

步驟S5：將模型訓練結果固化為pb格式的GraphModel，再使用TensorFlow.js提供的converter方法將模型轉化為json格式；

步驟S6：在監控設備的瀏覽器中部署該模型，通過加載json格式的SSD MobileNet V2目標檢測模型對實時視頻中的奶牛行為進行識別并將檢測結果進行上傳；

步驟S7：通過開源可視化圖表框架Apache ECharts實現對云數據中心的監測數據直觀展示，使用折線圖對奶牛在一天中反芻、進食、靜默三種行為的時間分布信息進行可視化，使用餅圖對奶牛一天中反芻、進食和靜默的總時長進行可視化。

2.根據權利要求1所述的一種基于SSD MobileNet V2目標檢測模型的奶牛進食和反芻識別與統計方法，其特征在于：所述SSD MobileNet V2目標檢測模型中MobileNet V2特征提取網絡結構如表1，其中t為擴展系數；n為該模塊重復次數；c為輸出通道數；s為該模塊第一次出現時的步長。

表1 MobileNet V2網絡結構

3.根據權利要求1所述的一種基于SSD MobileNet V2目標檢測模型的奶牛進食和反芻識別與統計方法，其特征在于：對目標檢測模型訓練前，首先修改預訓練模型SSDMobileNet V2的訓練參數：設置model.ssd.num_classes值為2；train_config.batch_size值為4；train_config.fine_tune_checkpoint_typed代表模型構建類別，設置為detection以進行檢測；num_train_steps為模型訓練步數，設置該值為50000；訓練集和測試集路徑配置給train_input_reader和eval_input_readereval_input_reader。

4.根據權利要求1所述的一種基于SSD MobileNet V2目標檢測模型的奶牛進食和反芻識別與統計方法，其特征在于：使用TensorFlow.js提供的converter方法將訓練好的模型轉化為json格式，在進行格式轉化時配置input_format為tf_saved_model，代表輸入的為pb模型；配置output_format為tfjs_graph_model，即json格式；output_node_names代表模型輸出節點，本發明使用模型的輸出節點有detection_boxes、detection_classes、detection_features、detection_multiclass_scores、detection_scores、num_detections、raw_detection_boxes、raw_detection_scores。

5.根據權利要求1所述的一種基于SSD MobileNet V2目標檢測模型的奶牛進食和反芻識別與統計方法，其特征在于：在監測設備本地以秒為單位對奶牛行為進行檢測，檢測結果緩存于瀏覽器中，對每60秒內的檢測結果進行統計分析，若某一行為在60秒中檢測到的次數大于30，即判定為當前分鐘刻度下奶牛正處于該行為，分析得到奶牛當前分鐘內的行為后，由邊緣設備將當前分鐘的行為數據上傳至云數據中心。

6.根據權利要求1所述的一種基于SSD MobileNet V2目標檢測模型的奶牛進食和反芻識別與統計方法，其特征在于：對于奶牛在一天中反芻、進食、靜默三種行為的時間分布信息，我們使用折線圖對監測數據進行可視化，折線圖坐標的x軸代表時間、y軸數值的絕對值代表行為檢測到的次數，正向代表檢測到的為反芻行為，負向代表檢測到的為進食行為，等于0代表當前分鐘既沒有檢測到反芻也沒有檢測到進食，即奶牛處于靜默狀態。