[發(fā)明專利]基于多層次監(jiān)督的多模態(tài)數(shù)據(jù)手術行為識別方法

在審

• 申請?zhí)枺?/td>: 202210448543.4
• 申請日: 2022-04-26
• 公開（公告）號: CN114821784A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設計）人: 王波;張文生;胡占義
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/82;G06N3/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于多層次監(jiān)督的多模態(tài)數(shù)據(jù)手術行為識別方法，其特征在于，該方法包括以下步驟：

S100，獲取設定時間內包含具體手術行為的待識別視頻幀序列及其對應的語音序列，作為輸入數(shù)據(jù)；

S200，基于所述輸入數(shù)據(jù)，通過訓練好的多層次手術行為類別識別神經(jīng)網(wǎng)絡模型得到待識別視頻幀序列中各具體手術行為的類別識別結果；

其中，所述多層次手術行為類別識別神經(jīng)網(wǎng)絡模型基于深度神經(jīng)網(wǎng)絡構建。

2.根據(jù)權利要求1所述的基于多層次監(jiān)督的多模態(tài)數(shù)據(jù)手術行為識別方法，其特征在于，所述多層次手術行為類別識別神經(jīng)網(wǎng)絡模型，其訓練方法為：

A100，獲取訓練樣本數(shù)據(jù)，構建訓練集；所述訓練樣本數(shù)據(jù)包括包含手術行為的視頻幀序列、語音序列以及視頻幀序列中各手術行為的類別識別結果的真值標簽；

A200，根據(jù)所述訓練樣本數(shù)據(jù)，統(tǒng)計各類別手術行為對應的概率直方圖，并基于所述概率直方圖，計算分布熵；

A300，判斷當前類別的手術行為的分布熵是否大于設定的分布熵下限閾值，若大于，則跳轉A500，否則，跳轉A400；

A400，選取概率直方圖對應概率最小的兩個手術行為類別進行合并，合并后并跳轉步驟A300；

A500，合并結束后，將各類別的手術行為輸入預構建的多層次手術行為類別識別神經(jīng)網(wǎng)絡模型，得到手術行為的類別識別結果，作為預測結果；

基于所述預測結果、所述各手術行為的類別識別結果的真值標簽，通過預構建的損失函數(shù)計算損失值，并更新所述多層次手術行為類別識別神經(jīng)網(wǎng)絡模型的模型參數(shù)；

A600，將A500合并結束后得到的各合并的手術行為類別進行分解，將分解后的各類別的手術行為，作為新的訓練樣本數(shù)據(jù)，重復執(zhí)行A200-A500；

A700，迭代執(zhí)行A600，直至不存在新的合并類，得到訓練好的多層次手術行為類別識別神經(jīng)網(wǎng)絡模型。

3.根據(jù)權利要求2所述的基于多層次監(jiān)督的多模態(tài)數(shù)據(jù)手術行為識別方法，其特征在于，將A500合并結束后得到的各合并的手術行為類別進行分解，其方法為：將合并的手術行為類別中每一個手術行為小類作為一類。

4.根據(jù)權利要求2所述的基于多層次監(jiān)督的多模態(tài)數(shù)據(jù)手術行為識別方法，其特征在于，所述預構建的損失函數(shù)，其構建方法為：

基于多層次手術行為類別識別神經(jīng)網(wǎng)絡模型Softmax層輸出的各類別手術行為的預測概率與預標注的精細行為標簽，構建關于視頻精細標注判別準確性和工具識別準確性的約束，作為第一損失函數(shù)；所述精細行為標簽為包含短促動作的手術行為類別的真值標簽；

通過弱監(jiān)督對視頻幀序列中的各幀行為類別識別結果在時域上進行無窮范數(shù)求和，得到對應的二值化識別向量，結合視頻粗粒度行為分類標簽，構建第二損失函數(shù)；所述視頻粗粒度行為為設定時長的視頻幀序列的各幀中包含的短促動作構建的行為集合；

基于視頻幀序列中各幀對應的前景行為特征與背景行為特征，分別構建前景模長的約束函數(shù)、背景模長的約束函數(shù)，作為第三損失函數(shù)、第四損失函數(shù)；

對多層次手術行為類別識別神經(jīng)網(wǎng)絡模型Softmax層輸出的各類別手術行為的預測概率與預獲取的增強標簽的分布概率求KL散度，進而構建第五損失函數(shù)；所述增強標簽為通過弱監(jiān)督約束優(yōu)化獲得的視頻粗粒度行為中各短促動作的偽標簽；

獲取視頻模態(tài)數(shù)據(jù)、語音模態(tài)數(shù)據(jù)對應的預測結果，并計算同一時間點兩模態(tài)數(shù)據(jù)對應的預測結果之間的余弦距離，進而構建第六損失函數(shù)；所述視頻模態(tài)數(shù)據(jù)即視頻幀序列中各幀的視頻數(shù)據(jù)；所述語音模態(tài)數(shù)據(jù)即語音序列中各幀的語音數(shù)據(jù)；

采用線性映射將手術行為識別結果映射到手術工具識別結果，進而構建第七損失函數(shù)。