[發(fā)明專利]魚群攝食強(qiáng)度識別方法、裝置、系統(tǒng)及投餌機(jī)

有效

• 申請?zhí)枺?/td>: 202310181994.0
• 申請日: 2023-03-01
• 公開（公告）號: CN115861906B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計(jì)）人: 周超;朱文韜;楊信廷;孫傳恒;劉錦濤
• 申請（專利權(quán)）人: 北京市農(nóng)林科學(xué)院信息技術(shù)研究中心
• 主分類號: G06V20/40
• 分類號: G06V20/40;G10L25/51;G10L25/24;G10L25/30;A01K61/80;G06V10/80;G06V10/82;G06N3/0455;G06N3/08
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 李文清

1.一種魚群攝食強(qiáng)度識別方法，其特征在于，包括：

獲取魚群攝食信息，所述魚群攝食信息包括魚群攝食視頻信息和對應(yīng)視頻時(shí)間段的水質(zhì)信息；

將所述魚群攝食信息輸入至魚群攝食強(qiáng)度識別模型，獲取所述魚群攝食強(qiáng)度識別模型輸出的魚群攝食強(qiáng)度；

所述魚群攝食強(qiáng)度識別模型用于對所述魚群攝食信息進(jìn)行特征提取得到視頻幀特征、音頻特征和水質(zhì)特征，并基于所述視頻幀特征、所述音頻特征和所述水質(zhì)特征融合所得的特征確定魚群攝食強(qiáng)度；所述魚群攝食強(qiáng)度識別模型是根據(jù)所述魚群攝食信息的樣本和對應(yīng)的魚群攝食強(qiáng)度標(biāo)簽訓(xùn)練得到的；

所述魚群攝食強(qiáng)度識別模型包括特征提取層、特征融合層和輸出層；

所述特征提取層用于分別對所述魚群攝食視頻信息和所述水質(zhì)信息進(jìn)行特征提取，得到視頻幀特征向量、音頻特征向量和水質(zhì)特征向量；

所述特征融合層用于對所述視頻幀特征向量、所述音頻特征向量和所述水質(zhì)特征向量進(jìn)行多模態(tài)特征融合，得到目標(biāo)視頻融合特征、目標(biāo)音頻融合特征和目標(biāo)水質(zhì)融合特征；

所述輸出層用于基于所述目標(biāo)視頻融合特征、所述目標(biāo)音頻融合特征和所述目標(biāo)水質(zhì)融合特征，確定魚群攝食強(qiáng)度。

2.根據(jù)權(quán)利要求1所述的魚群攝食強(qiáng)度識別方法，其特征在于，所述特征融合層包括多模態(tài)Transformer模型、多模態(tài)融合模塊、加權(quán)融合層；

所述多模態(tài)Transformer模型包括三層網(wǎng)絡(luò)層，每一層網(wǎng)絡(luò)層均包括依次連接的卷積層、跨模態(tài)融合Transformer模塊和自注意力Transformer模塊；

所述多模態(tài)融合模塊用于對所述多模態(tài)Transformer模型中各層卷積層輸出的特征向量進(jìn)行融合，得到視頻融合特征向量、音頻融合特征向量和水質(zhì)融合特征向量；所述各層卷積層輸出的特征向量是分別對所述視頻幀特征向量、所述音頻特征向量和所述水質(zhì)特征向量進(jìn)行卷積處理得到的；

所述加權(quán)融合層用于對所述視頻融合特征向量、所述音頻融合特征向量和所述水質(zhì)融合特征向量進(jìn)行加權(quán)融合，得到多模態(tài)融合特征向量；

所述多模態(tài)Transformer模型具體用于：

將所述視頻幀特征向量、所述音頻特征向量和所述水質(zhì)特征向量分別輸入對應(yīng)的卷積層，得到所述各層卷積層輸出的特征向量；

通過所述跨模態(tài)融合Transformer模塊，對所述各層卷積層輸出的特征向量分別與所述多模態(tài)融合特征向量進(jìn)行融合，并將融合所得的各特征輸入至對應(yīng)的自注意力Transformer模塊，得到所述目標(biāo)視頻融合特征、所述目標(biāo)音頻融合特征和所述目標(biāo)水質(zhì)融合特征。

3.根據(jù)權(quán)利要求2所述的魚群攝食強(qiáng)度識別方法，其特征在于，所述多模態(tài)融合模塊具體用于：

對所述多模態(tài)Transformer模型中各層卷積層輸出的特征向量進(jìn)行壓縮融合，得到壓縮融合特征向量；

基于所述壓縮融合特征向量，生成所述視頻融合特征向量、所述音頻融合特征向量和所述水質(zhì)融合特征向量。

4.根據(jù)權(quán)利要求1所述的魚群攝食強(qiáng)度識別方法，其特征在于，所述特征提取層包括視頻特征提取模塊、音頻特征提取模塊和水質(zhì)特征提取模塊；所述魚群攝食視頻信息包括視頻幀信息和音頻信息；

所述視頻特征提取模塊用于對所述視頻幀信息進(jìn)行特征提取，得到所述視頻幀特征向量；

所述音頻特征提取模塊具體用于：

確定所述音頻信息對應(yīng)的頻率倒譜系數(shù)特征圖；

對所述頻率倒譜系數(shù)特征圖進(jìn)行特征提取，得到所述音頻特征向量；

所述水質(zhì)特征提取模塊具體用于：

對所述對應(yīng)視頻時(shí)間段的水質(zhì)信息進(jìn)行曲線擬合，得到不同時(shí)刻的水質(zhì)分布曲線；

基于對所述水質(zhì)分布曲線進(jìn)行等時(shí)長間隔取點(diǎn)得到的點(diǎn)集數(shù)據(jù)進(jìn)行向量表示，得到所述水質(zhì)特征向量。

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的魚群攝食強(qiáng)度識別方法，其特征在于，在所述將所述魚群攝食信息輸入至魚群攝食強(qiáng)度識別模型，獲取所述魚群攝食強(qiáng)度識別模型輸出的魚群攝食強(qiáng)度之前，所述方法還包括：

將所述魚群攝食信息的樣本和對應(yīng)的魚群攝食強(qiáng)度標(biāo)簽作為一組訓(xùn)練樣本，獲取多組訓(xùn)練樣本；

利用所述多組訓(xùn)練樣本，對魚群攝食強(qiáng)度識別模型進(jìn)行訓(xùn)練。