[發明專利]基于人工智能及BIM的牛飲水槽自蓄水多視圖處理方法

有效

• 申請號: 202010776264.1
• 申請日: 2020-08-05
• 公開（公告）號: CN111931766B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 賈文星;侯麗;張洪濤;賈海峰;張曉光;薛雙;崔建華;武愛平;張秋菊;廖曉君
• 申請（專利權）人: 鄭州瑪源網絡科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/46;G06T7/246;G06N3/04;A01K29/00;A01K7/02
• 代理公司: 鄭州芝麻知識產權代理事務所(普通合伙) 41173
• 代理人: 朱亞飛

1.一種基于人工智能及BIM的牛飲水槽自蓄水多視圖處理方法，其特征在于，該方法包括：

步驟一，將養殖舍劃分為多個子區域，對各子區域進行圖像采集，對采集到的圖像進行投影變換、圖像拼接操作后投影到預先搭建好的養殖舍的BIM中實現實時成像；

步驟二，基于深度神經網絡對采集到的各子區域的圖像進行編碼、解碼操作得到關鍵點熱圖，其中，關鍵點包括左右兩個牛角的中心點、牛髖骨中心點三類關鍵點；

步驟三，在BIM中飲水槽附近定義一個感興趣區域ROI，將關鍵點熱圖中關鍵點坐標投影到BIM地面坐標系中，結合ROI，判斷關鍵點是否位于感興趣區域內，得到牛的位置信息，記為事件A，三類關鍵點位于ROI內時，A為1，否則為0；

對關鍵點熱圖中的關鍵點進行匹配，經過判斷操作，得到牛的朝向信息，記為事件B，牛朝向為飲水槽方向時，B為1，否則為0；

對牛髖骨中心點對應通道的關鍵點熱圖進行基于遺忘系數的熱度疊加操作，得到牛的移動軌跡，具體地，基于遺忘系數的熱度疊加操作為：

X＝αx+(1-α)x′

其中，x為當前幀結果，x′為之前幀的疊加計算結果，X為包含當前幀的疊加計算結果，(1-α)為遺忘系數；設置一個偏移閾值，根據牛的移動軌跡計算一定時間段內起始幀熱圖與結束幀熱圖中牛髖骨中心點圖像坐標的偏移，該偏移與偏移閾值進行比較，得到的結果記為事件d，當偏移大于偏移閾值時，d為1，反之，d為0；當第一次出現d為1時開始對事件d進行后處理操作得到事件d的累加結果D，設置一個達標值，將累加結果與達標值進行比較，得到牛的移動信息，記為事件C，當累加結果高于達標值時，判斷為牛在移動，C為1，否則，C為0；

在飲水槽中放置水位傳感器，獲取水位信息，記為事件W，當水位未達到正常水位時，W為1，反之，則為0；

步驟四，結合事件A、事件B、事件C以及事件W，實現飲水槽自蓄水，具體實現方法為：首先對事件W進行判斷，當W＝1時，進一步對事件A進行判斷，當W＝1、A＝1時，更進一步對事件B、C進行判斷，僅當W＝1、A＝1、B＝1、C＝1時，飲水槽自動加水；

步驟五，將得到的牛的位置信息、朝向信息、移動信息、水位信息傳輸至BIM中進行存儲，并結合Web GIS技術進行可視化處理。

2.如權利要求1所述的方法，其特征在于，深度神經網絡包括編碼器、解碼器，編碼器的輸入為采集到的各子區域的圖像，提取特征后輸出特征圖，解碼器對特征圖進行處理得到與編碼器的輸入相同大小的關鍵點熱圖。

3.如權利要求1所述的方法，其特征在于，判斷操作為：兩個牛角的中心點構成線段，牛髖骨中心點指向該線段中點的方向為牛的朝向，將ROI中心點指向飲水槽中心點的方向作為向量方向，當牛的朝向與向量方向之間的角度小于一定值時，判斷牛朝向為飲水槽方向。

4.如權利要求1所述的方法，其特征在于，步驟三還包括：將熱圖對折分為上半部分和下半部分，上半部分的偏移閾值小于下半部分的偏移閾值。

5.如權利要求1所述的方法，其特征在于，后處理操作具體為：基于遺忘算法對事件d進行統計，其公式為：

D＝ad+bd'

其中，a為上升系數，b為遺忘系數，d為當前事件d，d'為之前事件d的累加結果，D為所有事件d的累加結果；其中，a和b都大于0，且a+b≤1；

將a和b的初始值分別設為a₁、b₁，對事件d進行疊加操作，當累加結果達到達標值時，C為1，判斷為牛在移動，將a的值設為a₂，a₂＞a₁，b的值不變，使累加結果快速達到預先設定好的達標上限閾值；之后事件d為0，累加結果快速衰減，當累加結果開始小于達標值時，a的值為a₂，b的值設為b₂，b₂＜b₁，累加結果快速回到初始狀態。

6.如權利要求1所述的方法，其特征在于，養殖舍的BIM中包括各子區域用于圖像采集的攝像頭的位姿、各飲水槽中水位傳感器信息、各飲水槽ROI的范圍信息。