[發明專利]一種基于電子內窺鏡的自動去除無效視頻剪輯方法

有效

• 申請號: 201910485965.7
• 申請日: 2019-06-05
• 公開（公告）號: CN110087097B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 潘曉英;王紅玉;劉妮;趙浩;王昊;許成
• 申請（專利權）人: 西安郵電大學
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44
• 代理公司: 西安新思維專利商標事務所有限公司 61114
• 代理人: 黃秦芳

本發明屬于人工智能和計算機視覺技術領域，具體涉及一種基于內窺鏡的自動去除無效視頻剪輯方法。本發明將待剪輯內窺鏡手術視頻進行拆幀，在視頻幀中提取關鍵幀；將所述關鍵幀輸入本發明改進的密集連接卷積神經網絡中；通過所述網絡對所述手術視頻關鍵幀進行預判，再通過自修復模塊，進一步獲得精準結果；根據上述結果和原視頻時間點的對比，剪輯并合成視頻，得到醫生期待的有效內窺鏡手術視頻段。與其他剪輯方法相比，密集連接卷積神經網絡加入自修復模塊在準確度上進一步提升，將達到60％分類變化的視頻幀進行自修復，更精確手術視頻的剪輯時間，使得有效視頻與無效視頻分割更精確。

技術領域

本發明屬于人工智能和計算機視覺技術領域，涉及一種基于內窺鏡的自動去除無效視頻剪輯方法。

背景技術

現今內窺鏡的功能性微創手術技術已經得到醫生和患者的廣泛接受，內窺鏡下錄制的手術視頻也作為醫生教學、研討的重要素材，但是目前電子內窺鏡手術視頻生成量大，導致存儲不完整，而且存在很多冗余信息，比如清洗鏡頭，鏡頭閑置等情況，導致醫生重新查看手術視頻時關鍵信息獲取不連貫，此外，現有的醫學視頻剪輯采用人工手動方式進行剪輯，對視頻進行預覽，手動截取內窺鏡拍攝的有效視頻片段，將每段視頻片段進行拼接，以得到醫生期望的內窺鏡手術視頻；這種方法剪輯過程復雜，剪輯效率低，耗時長，對醫生在手術后的研討以及教學造成影響。

為了解決目前技術存在的問題，現有視頻剪輯技術還提供了以下方法：

1、人工對手術視頻進行預覽，手動插入開始時間點與結束時間點，將手術視頻進行拆分成若干小的視頻段，將小視頻段按照時間順序進行輸入，輸出合成視頻。該方法存在的問題是：耗費時間、精力，靠人工進行手術視頻預覽，剪輯順序依靠人工進行判斷，剪輯精度較差；

2、利用顏色直方圖、背景差分法等傳統方法對視頻進行視頻幀的提取，合成視頻幀，生成視頻預覽。該方法存在的問題是：由于是通過顏色直方圖等傳統方法進行視頻幀抽取，因此不適用于所有類型視頻，并且利用該方法生成視頻的預覽，信息不連貫；

3、將待剪輯視頻全部拆分為視頻幀；將視頻幀輸入到預先訓練的卷積神經網絡進行訓練；用戶手動輸入剪輯對象，根據用戶輸入的剪輯對象對視頻進行檢索，對存在剪輯對象的圖片進行合成，生成剪輯視頻。這是目前被普遍使用的方法，但是該方法仍然存在著下述問題：由于要提取所有的視頻幀，因此處理速度較慢；同時由于利用卷積神經網絡對圖像進行檢索，對存在剪輯對象的圖像進行合成，沒有考慮視頻的時序效果，因此視頻剪輯連續性較差，精度低。

發明內容

針對目前視頻剪輯技術存在的視頻剪輯連續性較差、精度低和處理速度較慢的問題，本發明提供了一種基于內窺鏡的自動去除無效視頻智能剪輯方法。

為實現上述目的，本發明提供了一種基于內窺鏡的自動去除無效視頻智能剪輯方法，包括以下步驟：

1：將收集到的手術視頻進行拆分，提取關鍵幀，經過提取后得到圖像序列 {I_i,i＝1,2,3,…,n}；

2：構建訓練集和測試集；

將收集到的內窺鏡手術視頻的關鍵幀隨機分組生成訓練集和測試集，并進行分類，分別得到1(有效)、0(無效)兩種類別關鍵幀；

3：構建密集連接卷積神經網絡；

3.1：對輸入密集連接卷積神經網絡的關鍵幀圖片序列進行預處理；

3.2：網絡結構搭建：

密集連接卷積神經網絡包括輸入層，兩個Dense Block層，兩個過渡層(Transition Layer)和輸出層；

輸入層由卷積層和Pre-Activation Batch Norm(BN層)組成，并由BN層對每次訓練輸入到網絡中的數據做標準化處理；