[發明專利]基于計算機視覺的育肥豬的自動行為分析系統及方法

有效

• 申請號: 201410191838.3
• 申請日: 2014-05-08
• 公開（公告）號: CN104008367B
• 公開（公告）日: 2018-05-01
• 發明（設計）人: 李振波;張瀧;李道亮;房慎彬;李喬宇
• 申請（專利權）人: 中國農業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;H04N7/18;A01K29/00
• 代理公司: 北京路浩知識產權代理有限公司11002
• 代理人: 李迪

1.基于計算機視覺的育肥豬的自動行為分析系統，對育肥豬自動行為進行分析的方法，其特征在于，

其中，所述基于計算機視覺的育肥豬的自動行為分析系統包括：

多模態信息采集模塊、多模態數據融合模塊、視頻圖像檢測模塊、視頻圖像跟蹤模塊、動物行為分析模塊；

其中多模態信息采集模塊包括視頻采集模塊和環境信息數據采集模塊，視頻采集模塊包括一個標定的CCD攝像機；

多模態數據融合模塊包括硬件部分和軟件部分；其中，硬件部分包括攝像機一臺、圖像采集卡和傳感器接收器、環境傳感器；軟件部分包括多模態信息數據融合的計算機軟件接口，硬件部分的攝像機要進行攝像機標定獲取攝像機的幾何模型參數；

視頻圖像檢測模塊，用于對目標豬進行檢測；

視頻圖像檢測模塊包括視頻圖像獲取模塊，用于收集目標豬的視頻信息；視頻圖像預處理模塊，用于對獲取模塊收集的視頻圖像進行預處理；視頻圖像分割模塊，將圖像分為目標與背景兩部分，并將目標豬從原圖像中提取出來；

視頻圖像跟蹤模塊，包括跟蹤模塊和數據分析模塊；

跟蹤模塊根據目標豬的生物量信息，對檢測到的目標豬進行跟蹤；

數據分析模塊，通過對目標豬的形心位置的跟蹤，計算出目標豬的運動加速度，運動軌跡，獲取目標豬所在圖像中的位置和區域劃分信息，計算目標豬的體長和體寬；

動物行為分析模塊，根據跟蹤模塊中的數據和多模態數據融合模塊采集的豬舍環境數據，進行分析綜合，判定是否為異常豬；

所述育肥豬自動行為進行分析的方法包括以下步驟：

步驟一：將育肥豬背部用不同圖案進行標記，利用環境信息數據采集模塊中的環境傳感器對豬舍內進行信息數據采集；

步驟二：在豬舍中安裝攝像機，對攝像機進行標定，通過攝像機的非線性模型，考慮鏡頭徑向畸變影響，拍攝同方向顯示模型，附著在理想的平面表面，獲取攝像機成像的幾何模型參數；獲取參數后對目標豬進行視頻采集，獲取原始豬舍的采集視頻序列；

步驟三：通過多模態數據融合模塊，對多模態信息采集模塊采集的數據進行整合，并對視頻信息與環境信息進行對齊同步，獲得豬舍的環境信息和當前時刻的豬的監控視頻信息，并將目標豬的多模態信息采集模塊中采集的數據傳遞給視頻圖像檢測模塊；

步驟四：視頻圖像檢測模塊獲取視頻信息后，計算機軟件程序處理視頻序列并對其進行檢測，劃分豬舍內不同區域，對不同的區域進行標記，并將檢測目標傳遞給視頻圖像跟蹤模塊；

步驟五：視頻圖像跟蹤模塊的跟蹤模塊根據目標豬的生物量信息進行跟蹤；視頻圖像跟蹤模塊的數據分析模塊，根據跟蹤信息，計算出豬的運動軌跡、運動加速度，獲取目標豬所在圖像中的位置和區域劃分信息，計算目標豬的體長和體寬；并將視頻圖像跟蹤模塊的數據，結合多模態數據融合模塊采集的環境傳感器的信息，傳遞給動物行為分析模塊；

步驟六：根據視頻圖像跟蹤模塊的信息，通過動物行為分析模塊統計目標豬的排泄次數、躺臥時間、采食飲水次數、食物和水源消耗量，估算豬的體重、胴體瘦肉量、肥瘦度，判定目標育肥豬的異常行為，系統根據異常情況將異常信息通過短信貓發送短信到聯系人手機上；

所述步驟四中視頻圖像檢測模塊進行處理視頻數據包括以下步驟：

A：多模態數據融合模塊，以無線路由的傳輸方式，將多模態信息采集模塊采集的數據傳輸給計算機軟件接口，計算機軟件接口將數據傳輸給視頻圖像獲取模塊；

B：視頻圖像預處理模塊將視頻圖像獲取模塊中的視頻圖像以幀為單位，對每幀圖像進行高斯平滑處理，增強圖像的目標和背景之間的差距；

C：對視頻圖像用視頻圖像分割模塊進行圖像分割，圖像分割后繼續對分割后的視頻圖像進行高斯平滑處理；

D：對處理后的圖像進行前景圖像和背景圖像檢測，根據攝像頭的標定和背景區域像素點坐標，對豬舍內的區域劃分為排泄區、采食區、活動區，并對排泄區和采食區用藍色和綠色的四邊形進行標注；

E：判定前景區域是否目標為育肥豬，若為育肥豬，則對其進行背部圖案辨別，否則進行下一塊前景區域辨別，若為育肥豬背部圖案為目標育肥豬，將其設為目標育肥豬，否則查找下一幀前景區域，直至查尋到目標育肥豬，若找尋不到，則判為無此目標育肥豬；所述步驟五中視頻圖像跟蹤模塊進行處理視頻數據包括以下步驟：

A：根據視頻圖像檢測模塊檢測出的目標，將目標育肥豬信息傳遞給跟蹤模塊，跟蹤模塊對目標育肥豬進行目標跟蹤；

B：將跟蹤信息傳遞給數據分析模塊，數據分析模塊根據目標育肥豬的質心位置和攝像機的標定，統計目標育肥豬的運動速度和運動加速度；

C：數據分析模塊根據目標育肥豬的跟蹤最小外接矩形的長度和攝像機的標定，計算目標豬的體長和體寬；

D：數據分析模塊根據目標豬的形心位置，在一個二維運動空間中計算目標豬的形心運動軌跡；所述步驟六中動物行為分析模塊進行動物行為分析包括以下步驟：

A:根據多模態信息采集模塊傳送來的數據，監控豬舍內的環境各項指標，根據各項數據指標，通過打掃豬舍衛生和通風換氣，使豬生長在一個適宜的環境中；

B:根據攝像機采集圖像中的區域劃分，將視頻圖像根據坐標位置，劃分為不同的區域，根據豬的形心所在區域，找到目標豬所在的運動區域；目標豬進入采食區域進食，若在此區域停留超過1min，則判定目標豬進行采食活動，若根據投喂模型中的食物水量減少量和目標豬飲水采食次數過少，則對目標豬進行標記，假定目標豬出現采食問題，進行軟件報警處理，將異常采食信息發送短信到聯系人手機上；

目標豬進入排泄區域且停留時間超過20s進行次數統計，若目標豬多次進入排泄區域，則假定該目標豬發生病情，進行軟件報警處理，將報警信息用短信發送到聯系人手機上；

C:通過多模態信息采集模塊的傳感器數據和目標豬異常數據，對目標豬的生活習性和生活狀態進行分析，找出目標豬最佳的養殖環境；

D:根據目標豬的所在位置，判定目標豬的運動情況，若質心在質心點附近位置，就判定該目標豬為靜止狀態，根據靜止狀態的時間，統計目標豬的躺臥時間和運動時間；若目標育肥豬靜臥時間過長，且運動速度，運動時間過短，則假定該目標豬出現病情，通過軟件報警系統，將發送短信告知聯系人；

E:根據跟蹤目標豬最小外接矩形的長、寬、長寬比、攝像機的標定、豬的平均質量，估算目標豬的體重；而后根據跟蹤目標豬的體重及目標豬長、寬、長寬比、背膘長度、豬的胴體周長，估算豬的胴體重量；

F:根據跟蹤目標豬平均背膘厚度，平均最后肋處背膘厚，胴體重量，利用多元回歸方程的瘦肉率最優數學模型估算瘦肉率，若瘦肉率達標，進行出欄提示。