[發明專利]基于多層次監督的多模態數據手術行為識別方法

在審

• 申請號: 202210448543.4
• 申請日: 2022-04-26
• 公開（公告）號: CN114821784A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 王波;張文生;胡占義
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/82;G06N3/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于智能醫療、視頻識別領域，具體涉及一種基于多層次監督的多模態數據手術行為識別方法、系統、設備，旨在解決現有手術行為識別方法因缺乏大量的高質量精細標注數據，導致手術行為識別精度、魯棒性較差的問題。本方法包括：獲取設定時間內包含具體手術行為的待識別視頻幀序列及其對應的語音序列，作為輸入數據；基于輸入數據，通過訓練好的多層次手術行為類別識別神經網絡模型得到待識別視頻幀序列中各具體手術行為的類別識別結果；多層次手術行為類別識別神經網絡模型基于深度神經網絡構建。本發明提升了手術行為識別精度、魯棒性。

技術領域

本發明屬于智能醫療、視頻識別技術領域，具體涉及一種基于多層次監督的多模態數據手術行為識別方法、系統、設備。

背景技術

手術行為識別是智能醫療領域的一個重要發展方向。手術質量的高低對病人的生命健康至關重要，而不同經驗的醫生所做手術的質量差別很大。如果能使用智能系統對年輕醫生的手術進行識別，并對手術的合規性給予相應的指導，將有利于加快年輕醫生手術水平的提升。其中的關鍵步驟就是手術行為的識別。手術行為的記錄往往涉及多個模態的數據，如何充分利用各模態數據間的互補關系是有效識別行為的重要保障。各模態數據中，視頻數據蘊含的信息量巨大，目前主流的學習方法，往往需要大量的高質量精細標注，但視頻數據的標注所需人力成本很高，尤其是需要大量的專業醫護人員標注，給視頻標注帶來很多的困難。本專利就針對此需求和其面對的難題，提出一種利用多模態數據在多層次監督下的手術識別方法。

發明內容

為了解決現有技術中的上述問題，即為了解決現有手術行為識別方法因缺乏大量的高質量精細標注數據，導致手術行為識別精度、魯棒性較差的問題，本發明第一方面，提出了一種基于多層次監督的多模態數據手術行為識別方法，該方法包括以下步驟：

S100，獲取設定時間內包含具體手術行為的待識別視頻幀序列及其對應的語音序列，作為輸入數據；

S200，基于所述輸入數據，通過訓練好的多層次手術行為類別識別神經網絡模型得到待識別視頻幀序列中各具體手術行為的類別識別結果；

其中，所述多層次手術行為類別識別神經網絡模型基于深度神經網絡構建。

在一些優選的實施方式中，所述多層次手術行為類別識別神經網絡模型，其訓練方法為：

A100，獲取訓練樣本數據，構建訓練集；所述訓練樣本數據包括包含手術行為的視頻幀序列、語音序列以及視頻幀序列中各手術行為的類別識別結果的真值標簽；

A200，根據所述訓練樣本數據，統計各類別手術行為對應的概率直方圖，并基于所述概率直方圖，計算分布熵；

A300，判斷當前類別的手術行為的分布熵是否大于設定的分布熵下限閾值，若大于，則跳轉A500，否則，跳轉A400；

A400，選取概率直方圖對應概率最小的兩個手術行為類別進行合并，合并后并跳轉步驟A300；

A500，合并結束后，將各類別的手術行為輸入預構建的多層次手術行為類別識別神經網絡模型，得到手術行為的類別識別結果，作為預測結果；

基于所述預測結果、所述各手術行為的類別識別結果的真值標簽，通過預構建的損失函數計算損失值，并更新所述多層次手術行為類別識別神經網絡模型的模型參數；

A600，將A500合并結束后得到的各合并的手術行為類別進行分解，將分解后的各類別的手術行為，作為新的訓練樣本數據，重復執行A200-A500；

A700，迭代執行A600，直至不存在新的合并類，得到訓練好的多層次手術行為類別識別神經網絡模型。

在一些優選的實施方式中，將A500合并結束后得到的各合并的手術行為類別進行分解，其方法為：將合并的手術行為類別中每一個手術行為小類作為一類。