[發(fā)明專利]大鼠社交行為識別方法、裝置、計算機設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202310004597.6
• 申請日: 2023-01-03
• 公開（公告）號: CN115984746A
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計）人: 吳心筱;張嶸;伊嘉誠;王羽晴;黃競逸
• 申請（專利權(quán)）人: 北京理工大學(xué);北京大學(xué)
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/46;G06V40/20
• 代理公司: 北京清大紫荊知識產(chǎn)權(quán)代理有限公司 11718
• 代理人: 周曉飛

1.一種大鼠社交行為識別方法，其特征在于，包括：

獲取包括兩只大鼠的視頻，并在所述視頻的每一幀圖像中確定每只大鼠的關(guān)鍵點；

在每一幀圖像中，根據(jù)每只大鼠的所述關(guān)鍵點，確定每只大鼠的所述關(guān)鍵點的坐標(biāo)信息和骨骼姿態(tài)；

在每一幀圖像中，根據(jù)每只大鼠的所述關(guān)鍵點的坐標(biāo)信息和所述骨骼姿態(tài)，提取兩只大鼠的行為特征；

將每一幀圖像中兩只大鼠的所述行為特征輸入行為識別模型，所述行為識別模型輸出每一幀圖像中兩只大鼠的社交行為類型，其中，所述行為識別模型是以歷史行為特征和對應(yīng)的社交行為類型為樣本訓(xùn)練機器學(xué)習(xí)組件得到的。

2.如權(quán)利要求1所述的大鼠社交行為識別方法，其特征在于，在每一幀圖像中，根據(jù)每只大鼠的關(guān)鍵點，確定每只大鼠的關(guān)鍵點的坐標(biāo)信息和骨骼姿態(tài)，包括：

將每一幀圖像的預(yù)設(shè)圖像區(qū)域映射為熱力圖像，所述預(yù)設(shè)圖像區(qū)域包括兩只大鼠的關(guān)鍵點；

將所述熱力圖像輸入檢測模型，所述檢測模型輸出熱圖和向量圖，其中，所述熱圖包括所述熱力圖中關(guān)鍵點的坐標(biāo)信息，所述向量圖包括所述熱力圖中關(guān)鍵點之間的連接向量信息，所述檢測模型是以歷史熱力圖、歷史熱圖和歷史向量圖為樣本訓(xùn)練多尺度特征融合網(wǎng)絡(luò)得到的；

采用最小生成樹算法，根據(jù)所述向量圖生成骨骼姿態(tài)；

將所述熱圖中關(guān)鍵點的坐標(biāo)信息和所述骨骼姿態(tài)映射到所述熱力圖對應(yīng)的幀圖像中。

3.如權(quán)利要求1所述的大鼠社交行為識別方法，其特征在于，在每一幀圖像中，根據(jù)每只大鼠的關(guān)鍵點的坐標(biāo)信息和骨骼姿態(tài)，提取兩只大鼠的行為特征，包括：

根據(jù)預(yù)設(shè)幀圖像中每只大鼠的關(guān)鍵點的坐標(biāo)信息和骨骼姿態(tài)，確定當(dāng)前幀圖像中每只大鼠的身體形態(tài)特征，其中，所述身體形態(tài)特征包括關(guān)鍵點間距離、骨骼向量所成角度以及關(guān)鍵點被遮擋情況；

根據(jù)所述預(yù)設(shè)幀圖像中每只大鼠的關(guān)鍵點的坐標(biāo)信息和骨骼姿態(tài)，確定所述當(dāng)前幀圖像中每只大鼠的運動狀態(tài)特征，其中，所述運動狀態(tài)特征包括運動速度、運動方向以及位移；

根據(jù)所述預(yù)設(shè)幀圖像中每只大鼠的關(guān)鍵點的坐標(biāo)信息和骨骼姿態(tài)，確定所述當(dāng)前幀圖像中兩只大鼠間的間距特征，其中，所述間距特征包括兩只大鼠間的質(zhì)心距離和兩只大鼠間各身體部位的距離；

根據(jù)所述預(yù)設(shè)幀圖像中每只大鼠的關(guān)鍵點的坐標(biāo)信息和骨骼姿態(tài)，確定所述當(dāng)前幀圖像中兩只大鼠間的交互傾向特征，其中，所述交互傾向特征包括以兩只大鼠中一只大鼠的質(zhì)心為頂點，該一只大鼠的頭部與另一只大鼠的身體部位所呈的角度，所述預(yù)設(shè)幀圖像包括當(dāng)前幀圖像、當(dāng)前幀圖像之前的第一預(yù)設(shè)數(shù)量的幀圖像以及當(dāng)前幀圖像之后的第二預(yù)設(shè)數(shù)量的幀圖像。

4.如權(quán)利要求1至3中任一項所述的大鼠社交行為識別方法，其特征在于，還包括：

在每幀圖像中，確定每只大鼠的身份信息；

將提取的兩只大鼠的行為特征與每只大鼠的身份信息關(guān)聯(lián)起來。

5.如權(quán)利要求4所述的大鼠社交行為識別方法，其特征在于，在每幀圖像中，確定每只大鼠的身份信息，包括：

在每幀圖像中，捕捉每只大鼠的檢測框位置，其中，所述檢測框包括對應(yīng)大鼠的所有關(guān)鍵點；

將每只大鼠的檢測框位置與每只大鼠的位置進行關(guān)聯(lián)匹配，生成每只大鼠的至少一段短軌跡；

針對每種身份相混情況產(chǎn)生的兩段短軌跡，根據(jù)該種身份相混情況的特征信息確定該種身份相混情況的第一權(quán)值，并根據(jù)該種身份相混情況在所有身份相混情況中發(fā)生的頻率，確定該種身份相混情況的第二權(quán)值，將所述第一權(quán)值和所述第二權(quán)值的乘積作為該種身份相混情況產(chǎn)生的兩段短軌跡的邊權(quán)；

采用網(wǎng)絡(luò)流最小化算法，根據(jù)各段短軌跡的邊權(quán)，將每只大鼠的至少一段短軌跡拼接成一段長軌跡，并在所述長軌跡對應(yīng)的視頻的每一幀圖像中標(biāo)注每只大鼠的身份信息。

6.如權(quán)利要求1至3中任一項所述的大鼠社交行為識別方法，其特征在于，所述社交行為類型包括潛伏期、分離行為、單向社交行為以及雙向社交行為。

7.如權(quán)利要求1至3中任一項所述的大鼠社交行為識別方法，其特征在于，還包括：

統(tǒng)計每個社交行為類型對應(yīng)的幀圖像總數(shù)，確定每個社交行為類型對應(yīng)的時長。