[發(fā)明專利]一種基于電子內(nèi)窺鏡的自動去除無效視頻剪輯方法

有效

• 申請?zhí)枺?/td>: 201910485965.7
• 申請日: 2019-06-05
• 公開（公告）號: CN110087097B
• 公開（公告）日: 2021-08-03
• 發(fā)明（設(shè)計(jì)）人: 潘曉英;王紅玉;劉妮;趙浩;王昊;許成
• 申請（專利權(quán)）人: 西安郵電大學(xué)
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44
• 代理公司: 西安新思維專利商標(biāo)事務(wù)所有限公司 61114
• 代理人: 黃秦芳

1.一種基于內(nèi)窺鏡的自動去除無效視頻智能剪輯方法，其特征在于，包括以下步驟：

步驟1：將收集到的手術(shù)視頻進(jìn)行拆分，提取關(guān)鍵幀，經(jīng)過提取后得到圖像序列{,i=1,2,3,…,n}；

步驟2：構(gòu)建訓(xùn)練集和測試集；

將收集到的內(nèi)窺鏡手術(shù)視頻的關(guān)鍵幀隨機(jī)分組生成訓(xùn)練集和測試集，并進(jìn)行分類，分別得到1、0兩種類別關(guān)鍵幀，1代表有效、0代表無效；

步驟3：構(gòu)建密集連接卷積神經(jīng)網(wǎng)絡(luò)；

步驟3.1：對輸入密集連接卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵幀圖片序列進(jìn)行預(yù)處理；

步驟3.2：網(wǎng)絡(luò)結(jié)構(gòu)搭建：

密集連接卷積神經(jīng)網(wǎng)絡(luò)包括輸入層，兩個Dense Block層，兩個過渡層TransitionLayer和輸出層；

輸入層由卷積層和Pre-Activation Batch Norm層組成，并由Pre-Activation BatchNorm層對每次訓(xùn)練輸入到網(wǎng)絡(luò)中的數(shù)據(jù)做標(biāo)準(zhǔn)化處理；

輸出層由全局平均池化層和全連接層構(gòu)成，最后附加一個Softmax分類器，計(jì)算像素點(diǎn)的均值，組成向量并映射得到圖像分類的預(yù)測值；

步驟4：將訓(xùn)練集輸入已構(gòu)建的網(wǎng)絡(luò)模型中訓(xùn)練、生成網(wǎng)絡(luò)模型；

調(diào)整網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練，設(shè)置earlystoper，當(dāng)網(wǎng)絡(luò)訓(xùn)練達(dá)到預(yù)設(shè)程度時停止訓(xùn)練，得到網(wǎng)絡(luò)模型并保存；

步驟5：將測試集輸入已生成模型后得到預(yù)判結(jié)果；

步驟5.1：對輸入的測試集圖像序列進(jìn)行預(yù)處理；

步驟5.2：將經(jīng)過預(yù)處理的圖像輸入現(xiàn)已生成的模型中進(jìn)行預(yù)測，生成預(yù)判結(jié)果，預(yù)判結(jié)果分為兩類：無效類別為“0”， 有效類別為“1”；

步驟6：將上述預(yù)判結(jié)果輸入自修復(fù)模塊，出現(xiàn)兩種情況：

步驟6.1：在序列從“1”變?yōu)椤?”的變化邊界；

步驟6.1.1：提取從“1”變?yōu)椤?”的兩個關(guān)鍵幀在原視頻之間的所有視頻幀；

步驟6.1.2：將步驟1提取出的視頻幀再輸入密集連接卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行判斷，得到分類序列：若分類結(jié)果大于60%是“1”，則將后一關(guān)鍵幀自修復(fù)為“1”；

若分類結(jié)果小于60%是“1”，則停止自修復(fù)，保持原來序列；

若修復(fù)后序列第二個關(guān)鍵幀還是“0”，繼續(xù)執(zhí)行自修復(fù)，直到分類結(jié)果小于60%；

若修復(fù)后序列第二個關(guān)鍵幀是“1”，停止自修復(fù)；

步驟6.2：在序列從“0”變?yōu)椤?”的變化邊界；

步驟6.2.1：提取從“0”變?yōu)椤?”的兩個關(guān)鍵幀在原視頻之間的所有視頻幀；

步驟6.2.2：步驟1提取的視頻幀再輸入密集連接卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行判斷，得到分類序列，

若分類結(jié)果大于60%是“0”，則將后一關(guān)鍵幀改為“0”；

若分類結(jié)果小于60%是“0”，則停止自修復(fù)，保持原來序列；

若修復(fù)后序列第二個關(guān)鍵幀還是“1”，繼續(xù)執(zhí)行自修復(fù)，直到分類結(jié)果小于60%；

若修復(fù)后序列第二個關(guān)鍵幀是“0”，停止自修復(fù)；

步驟7：根據(jù)上述結(jié)果，剪輯視頻并輸出

根據(jù)步驟6得到的分類序列，找出視頻第一幀的類別，記錄序列變化的時間點(diǎn)，按變化時間點(diǎn)進(jìn)行剪輯，對類別相同的視頻片段進(jìn)行合成，生成有效、無效兩類視頻段。