[發(fā)明專(zhuān)利]一種基于視覺(jué)技術(shù)的魚(yú)類(lèi)游過(guò)數(shù)目與游向的預(yù)測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210410617.5
• 申請(qǐng)日: 2022-04-19
• 公開(kāi)（公告）號(hào): CN114782481A
• 公開(kāi)（公告）日: 2022-07-22
• 發(fā)明（設(shè)計(jì)）人: 馬越;萬(wàn)欣;時(shí)曉燕;何海鋒
• 申請(qǐng)（專(zhuān)利權(quán)）人: 國(guó)能大渡河大數(shù)據(jù)服務(wù)有限公司;成都大匯物聯(lián)科技有限公司
• 主分類(lèi)號(hào): G06T7/20
• 分類(lèi)號(hào): G06T7/20;G06T7/70;G06N3/04;G06N3/08;G06V20/20
• 代理公司: 北京正華智誠(chéng)專(zhuān)利代理事務(wù)所(普通合伙) 11870
• 代理人: 劉方正

1.一種基于視覺(jué)技術(shù)的魚(yú)類(lèi)游過(guò)數(shù)目與游向的預(yù)測(cè)方法，其特征在于，包括以下步驟：

S1：選擇若干數(shù)量和種類(lèi)的魚(yú)，每個(gè)種類(lèi)的魚(yú)數(shù)量相等；

S2：將所有的魚(yú)放入一個(gè)透明的魚(yú)缸內(nèi)，錄制若干魚(yú)在魚(yú)缸內(nèi)活動(dòng)的水下視頻；

S3：從水下視頻中提取禎，并利用開(kāi)源圖像注釋工具在禎圖像上添加標(biāo)簽，形成若干標(biāo)簽圖像；

S4：將若干標(biāo)簽圖像輸入訓(xùn)練好的YOLO算法模型中，得到每個(gè)魚(yú)的跟蹤框；

S5：利用多目標(biāo)跟蹤算法，將每個(gè)魚(yú)的跟蹤框?qū)?yīng)一個(gè)跟蹤框ID；

S6：在定義計(jì)數(shù)線BC，計(jì)算跟蹤框的中心位置A'、以及前一禎的跟蹤框ID對(duì)應(yīng)的跟蹤框的中心位置A；

S7：連接位置A與位置A'，判斷連線A'A是否穿過(guò)計(jì)數(shù)線BC，若是，則判定當(dāng)前跟蹤框ID對(duì)應(yīng)的跟蹤框過(guò)線，有一條魚(yú)游過(guò)計(jì)數(shù)線BC，魚(yú)的數(shù)量加1，向量的方向?yàn)樵擊~(yú)的游向；

S8：遍歷每個(gè)跟蹤框ID對(duì)應(yīng)的跟蹤框，計(jì)算跟蹤框過(guò)線的禎數(shù)，若同一跟蹤框ID的跟蹤框在超過(guò)幀數(shù)閾值后再次過(guò)線，則判定同一條魚(yú)徘徊，不計(jì)入魚(yú)的數(shù)量。

2.根據(jù)權(quán)利要求1所述的基于視覺(jué)技術(shù)的魚(yú)類(lèi)游過(guò)數(shù)目與游向的預(yù)測(cè)方法，其特征在于，所述步驟S4包括：

S41：在開(kāi)源數(shù)據(jù)庫(kù)中下載YOLO算法模型，下載魚(yú)類(lèi)圖片的訓(xùn)練集，訓(xùn)練集中包含步驟S1中的魚(yú)的種類(lèi)；

S42：利用訓(xùn)練集對(duì)YOLO算法模型進(jìn)行訓(xùn)練，形成魚(yú)類(lèi)探測(cè)器；

S43：利用魚(yú)類(lèi)探測(cè)器對(duì)每禎的標(biāo)簽圖像中的魚(yú)類(lèi)進(jìn)行物種識(shí)別，生成每個(gè)魚(yú)個(gè)體的檢測(cè)框，并在檢測(cè)框上標(biāo)注魚(yú)類(lèi)。

3.根據(jù)權(quán)利要求1所述的基于視覺(jué)技術(shù)的魚(yú)類(lèi)游過(guò)數(shù)目與游向的預(yù)測(cè)方法，其特征在于，所述步驟S5包括：

S51：根據(jù)當(dāng)前幀的檢測(cè)框與前一禎的跟蹤框的運(yùn)動(dòng)相似性d⁽¹⁾(i，j)和外觀相似性d⁽²⁾(i，j)，計(jì)算當(dāng)前幀的檢測(cè)框與前一禎的跟蹤框的總相似性C_i,j；

S52：將總相似性C_i,j與相似性閾值進(jìn)行比較，將每個(gè)魚(yú)的跟蹤框?qū)?yīng)一個(gè)跟蹤框ID。

4.根據(jù)權(quán)利要求3所述的基于視覺(jué)技術(shù)的魚(yú)類(lèi)游過(guò)數(shù)目與游向的預(yù)測(cè)方法，其特征在于，所述步驟S51中計(jì)算當(dāng)前幀的檢測(cè)框與前一禎的跟蹤框的運(yùn)動(dòng)相似性d⁽¹⁾(i，j)的方法為：

d⁽¹⁾(i，j)＝(d_j-y_i)^TS_i^-1(d_j-y_i)

其中，d_j為當(dāng)前幀的檢測(cè)框的位置，y_i為前一禎的跟蹤框的預(yù)測(cè)位置，S_i為預(yù)測(cè)位置與檢測(cè)框的平均跟蹤位置之間的協(xié)方差矩陣，T為轉(zhuǎn)置矩陣。

5.根據(jù)權(quán)利要求3所述的基于視覺(jué)技術(shù)的魚(yú)類(lèi)游過(guò)數(shù)目與游向的預(yù)測(cè)方法，其特征在于，所述步驟S51中計(jì)算當(dāng)前幀的檢測(cè)框與前一禎的跟蹤框的外觀相似性d⁽²⁾(i，j)的方法為：

d⁽²⁾(i，j)＝min{1-r_j^Tr_k⁽ⁱ⁾|r_k⁽ⁱ⁾∈R_i}

其中，r為魚(yú)表面特征的描述子，k為每一次跟蹤框所關(guān)聯(lián)的描述子的序號(hào)，R_i為存放描述子的集合；

6.根據(jù)權(quán)利要求3所述的基于視覺(jué)技術(shù)的魚(yú)類(lèi)游過(guò)數(shù)目與游向的預(yù)測(cè)方法，其特征在于，所述步驟S51中計(jì)算當(dāng)前幀的檢測(cè)框與前一禎的跟蹤框的總相似性C_i,j的方法為：

c_i，j＝λd⁽¹⁾(i，j)+(1-λ)d⁽²⁾(i，j)

其中，λ為權(quán)重的超參數(shù)。