[發(fā)明專(zhuān)利]視頻剪輯方法、裝置、電子設(shè)備以及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110328319.7
• 申請(qǐng)日: 2021-03-26
• 公開(kāi)（公告）號(hào): CN113052085A
• 公開(kāi)（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 趙飛;吳伯川;賈兆柱;王麒銘;欒鵬龍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 新東方教育科技集團(tuán)有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G10L15/26;G11B27/031
• 代理公司: 北京英創(chuàng)嘉友知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 曾堯

1.一種視頻剪輯方法，其特征在于，所述方法包括：

獲取教學(xué)視頻，所述教學(xué)視頻是對(duì)教室內(nèi)的課堂場(chǎng)景進(jìn)行拍攝得到的；

根據(jù)所述教學(xué)視頻中的圖像信息和/或音頻信息，確定所述教學(xué)視頻中與授課內(nèi)容無(wú)關(guān)的視頻片段的開(kāi)始時(shí)間以及結(jié)束時(shí)間；

根據(jù)所述開(kāi)始時(shí)間以及所述結(jié)束時(shí)間，從所述教學(xué)視頻中刪除所述視頻片段。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述教學(xué)視頻中的圖像信息和音頻信息，確定所述教學(xué)視頻中與授課內(nèi)容無(wú)關(guān)的視頻片段的開(kāi)始時(shí)間以及結(jié)束時(shí)間，包括：

確定所述圖像信息中的教師是否處于點(diǎn)名姿態(tài)；

在確定所述教師處于點(diǎn)名姿態(tài)的情況下，將所述教師處于點(diǎn)名姿態(tài)對(duì)應(yīng)的音頻信息通過(guò)語(yǔ)音識(shí)別轉(zhuǎn)寫(xiě)技術(shù)轉(zhuǎn)寫(xiě)為文字，并將所述文字與學(xué)生名單對(duì)比，得到第一對(duì)比結(jié)果；

在所述第一對(duì)比結(jié)果表征所述文字與所述學(xué)生名單中的學(xué)生姓名相匹配的情況下，將確定所述圖像信息中的教師處于所述點(diǎn)名姿態(tài)的時(shí)刻作為點(diǎn)名階段的開(kāi)始時(shí)間；并，

根據(jù)所述第一比對(duì)結(jié)果，將轉(zhuǎn)寫(xiě)得到的文字最后一次與所述學(xué)生名單中的學(xué)生姓名相匹配的時(shí)間作為所述點(diǎn)名階段的結(jié)束時(shí)間。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述教學(xué)視頻中的圖像信息，確定所述教學(xué)視頻中與授課內(nèi)容無(wú)關(guān)的視頻片段的開(kāi)始時(shí)間以及結(jié)束時(shí)間，包括：

在確定所述教師處于點(diǎn)名姿態(tài)的情況下，將所述教師處于點(diǎn)名姿態(tài)對(duì)應(yīng)的圖像輸入預(yù)先訓(xùn)練的唇語(yǔ)識(shí)別模型，得到教師唇語(yǔ)對(duì)應(yīng)的文字，并將所述教師唇語(yǔ)對(duì)應(yīng)的文字與學(xué)生名單對(duì)比，得到唇語(yǔ)對(duì)比結(jié)果；

在所述唇語(yǔ)對(duì)比結(jié)果表征所述教師唇語(yǔ)對(duì)應(yīng)的文字與所述學(xué)生名單中的學(xué)生姓名相匹配的情況下，將確定所述圖像信息中的教師處于所述點(diǎn)名姿態(tài)的時(shí)刻作為點(diǎn)名階段的開(kāi)始時(shí)間；并，

根據(jù)所述唇語(yǔ)比對(duì)結(jié)果，將教師唇語(yǔ)對(duì)應(yīng)的文字最后一次與所述學(xué)生名單中的學(xué)生姓名相匹配的時(shí)間作為所述點(diǎn)名階段的結(jié)束時(shí)間。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述教學(xué)視頻中的圖像信息和音頻信息，確定所述教學(xué)視頻中與授課內(nèi)容無(wú)關(guān)的視頻片段的開(kāi)始時(shí)間以及結(jié)束時(shí)間，包括：

在確定所述教師處于點(diǎn)名姿態(tài)的情況下，將所述教師處于點(diǎn)名姿態(tài)對(duì)應(yīng)的圖像輸入預(yù)先訓(xùn)練的唇語(yǔ)識(shí)別模型得到唇語(yǔ)特征、將所述教師處于點(diǎn)名姿態(tài)對(duì)應(yīng)的音頻信息通過(guò)語(yǔ)音識(shí)別轉(zhuǎn)寫(xiě)技術(shù)轉(zhuǎn)寫(xiě)得到語(yǔ)音特征；

按照時(shí)間順序，分別得到所述唇語(yǔ)特征以及所述語(yǔ)音特征的時(shí)間特征序列；

將所述唇語(yǔ)特征的的時(shí)間特征序列以及所述語(yǔ)音特征的時(shí)間特征序列融合，再進(jìn)行轉(zhuǎn)寫(xiě)，得到教師說(shuō)話內(nèi)容對(duì)應(yīng)的文字；

將所述教師說(shuō)話內(nèi)容對(duì)應(yīng)的文字與學(xué)生名單對(duì)比，根據(jù)對(duì)比結(jié)果確定點(diǎn)名階段的開(kāi)始時(shí)間以及結(jié)束時(shí)間。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，確定所述圖像信息中的教師是否處于點(diǎn)名姿態(tài)包括：

根據(jù)骨骼點(diǎn)檢測(cè)技術(shù)，確定所述圖像信息中的教師是否手持手機(jī)或紙質(zhì)名單；

根據(jù)視線檢測(cè)技術(shù)，確定所述圖像信息中的教師的視線是否多次在手機(jī)或紙質(zhì)名單與其他位置之間進(jìn)行切換；

在所述教師手持手機(jī)或紙質(zhì)名單，且所述教師的視線多次在手機(jī)或紙質(zhì)名單與其他位置之間進(jìn)行切換的情況下，確定所述圖像信息中的教師處于點(diǎn)名姿態(tài)。