[發(fā)明專利]基于TensorflowJs的奶牛進(jìn)食和反芻識(shí)別與統(tǒng)計(jì)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210193244.0
• 申請(qǐng)日: 2022-03-01
• 公開(kāi)（公告）號(hào): CN114582015A
• 公開(kāi)（公告）日: 2022-06-03
• 發(fā)明（設(shè)計(jì)）人: 楊智清;張宇;徐金賀
• 申請(qǐng)（專利權(quán)）人: 東北農(nóng)業(yè)大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V20/40;G06V20/52;G06V10/774;G06K9/62;G06Q50/02
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種基于Tensorflow.js的奶牛進(jìn)食和反芻識(shí)別與統(tǒng)計(jì)方法，運(yùn)用計(jì)算機(jī)視覺(jué)與智能識(shí)別技術(shù)，屬于畜禽行為識(shí)別技術(shù)領(lǐng)域。本發(fā)明首先采集奶牛進(jìn)食、反芻時(shí)的視頻數(shù)據(jù)，以此制作奶牛行為識(shí)別數(shù)據(jù)集，對(duì)SSD MoblilNet V2模型進(jìn)行訓(xùn)練，借助Tensorflow.js將該模型部署至監(jiān)測(cè)設(shè)備的本地瀏覽器中。監(jiān)測(cè)設(shè)備通過(guò)瀏覽器的API調(diào)用攝像頭獲取奶牛圖像，將圖像傳入目標(biāo)檢測(cè)模型，基于瀏覽器算力進(jìn)行推理，監(jiān)測(cè)設(shè)備僅將識(shí)別結(jié)果上傳至服務(wù)器進(jìn)行統(tǒng)計(jì)，極大降低了數(shù)據(jù)傳輸量和云服務(wù)器的性能要求，解決了現(xiàn)有方法成本過(guò)高難以推廣的問(wèn)題。本系統(tǒng)對(duì)奶牛反芻和進(jìn)食行為識(shí)別的查準(zhǔn)率、召回率、F1?score、特異性、準(zhǔn)確率分別達(dá)到96.50％、91.77％、94.08％、91.36％、91.66％，表明該方法能夠有效對(duì)奶牛行為進(jìn)行識(shí)別。

技術(shù)領(lǐng)域

本發(fā)明屬于畜禽行為識(shí)別技術(shù)領(lǐng)域，具體涉及基于機(jī)器視覺(jué)的奶牛進(jìn)食和反芻行為識(shí)別方法和借助Tensorflow.js將模型部署至通用智能設(shè)備的瀏覽器中的方法。

背景技術(shù)

反芻行為是奶牛的重要消化過(guò)程之一，成年奶牛每天反芻的時(shí)長(zhǎng)與奶牛的健康情況和產(chǎn)奶量密切相關(guān),因此通過(guò)實(shí)時(shí)監(jiān)測(cè)奶牛反芻和進(jìn)食時(shí)長(zhǎng)等信息，可提前判斷出部分發(fā)病癥狀不明顯的疾病，同時(shí)也可根據(jù)反芻信息制定合適的飼養(yǎng)策略，保障奶牛的產(chǎn)奶量和乳質(zhì)量。

發(fā)明專利“一種基于SSD卷積神經(jīng)網(wǎng)絡(luò)的奶牛反芻行為識(shí)別方法”(公開(kāi)號(hào)CN110781870A)，公開(kāi)了一種奶牛反芻行為識(shí)別方法，該系統(tǒng)通過(guò)采集的奶牛靜息、反芻、進(jìn)食時(shí)嘴部特征圖像對(duì)SSD目標(biāo)檢測(cè)模型進(jìn)行訓(xùn)練；采用傳統(tǒng)的模型部署方式，將采集到的視頻數(shù)據(jù)先上傳至服務(wù)器，然后在服務(wù)器中進(jìn)一步處理并識(shí)別視頻中奶牛的行為，識(shí)別后的結(jié)果再返回請(qǐng)求端。由于該方法實(shí)施過(guò)程中需要部署較多設(shè)備并長(zhǎng)時(shí)間將獲取到的視頻數(shù)據(jù)上傳至云服務(wù)器，為具備實(shí)時(shí)性，需要提供穩(wěn)定且高帶寬的網(wǎng)絡(luò)；而云服務(wù)器需要具備處理高并發(fā)的視頻數(shù)據(jù)的能力，因此對(duì)云服務(wù)器的性能要求較高。這就需要農(nóng)場(chǎng)需要投入更多的網(wǎng)絡(luò)基礎(chǔ)設(shè)施建設(shè)和云端成本。

本發(fā)明是對(duì)上述方法的改進(jìn)，使用SSD MoblilNet V2目標(biāo)檢測(cè)模型進(jìn)行識(shí)別，并借助Tensorflow.js將模型部署至監(jiān)測(cè)設(shè)備的本地瀏覽器中，基于瀏覽器的算力進(jìn)行推理，將計(jì)算任務(wù)和服務(wù)從網(wǎng)絡(luò)核心推向網(wǎng)絡(luò)邊緣設(shè)備。

發(fā)明內(nèi)容

為了達(dá)到連續(xù)并實(shí)時(shí)識(shí)別奶牛進(jìn)食和反芻行為的目的，并克服現(xiàn)有進(jìn)食和反芻監(jiān)測(cè)方法的缺點(diǎn)，本發(fā)明提出了一種基于Tensorflow.js的奶牛進(jìn)食和反芻識(shí)別與統(tǒng)計(jì)方法。

本發(fā)明的技術(shù)方案如下：

步驟S1：使用影響采集設(shè)備在一天中不同時(shí)段、光照及角度采集奶牛進(jìn)食和反芻的視頻；

步驟S2：將采集到的每頭奶牛進(jìn)食、反芻時(shí)的視頻分幀處理，并人工挑選嘴部特征明顯的圖像，使用labelimg工具將分幀后的圖像進(jìn)行標(biāo)注；

步驟S3：對(duì)影像數(shù)據(jù)進(jìn)行旋轉(zhuǎn),白化等處理使其符合SSD MobileNet V2模型的輸入格式要求,通過(guò)圖像變換,調(diào)節(jié)影像數(shù)據(jù)光學(xué)參數(shù)等一系列方法,人工增加牛嘴部影像數(shù)據(jù)集的大小,將處理后的影像數(shù)據(jù)按一定比例分為訓(xùn)練數(shù)據(jù)集、測(cè)試數(shù)據(jù)集，最后將訓(xùn)練集和驗(yàn)證集都轉(zhuǎn)化為TFRecord格式；

步驟S4：使用Tensorflow構(gòu)造SSD MobileNet V2目標(biāo)檢測(cè)模型,使用訓(xùn)練數(shù)據(jù)集對(duì)該模型進(jìn)行訓(xùn)練；

步驟S5：將模型訓(xùn)練結(jié)果固化為pb格式的GraphModel，再使用TensorFlow.js提供的converter方法將模型轉(zhuǎn)化為json格式；

步驟S6：在監(jiān)控設(shè)備的瀏覽器中部署該模型，通過(guò)加載json格式的SSD MobileNetV2目標(biāo)檢測(cè)模型對(duì)實(shí)時(shí)視頻中的奶牛行為進(jìn)行識(shí)別并將檢測(cè)結(jié)果進(jìn)行上傳；