[發(fā)明專利]一種基于圖像識(shí)別的視頻分類截取系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011247468.2
• 申請(qǐng)日: 2020-11-10
• 公開(kāi)（公告）號(hào): CN112380954A
• 公開(kāi)（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 陳明榮
• 申請(qǐng)（專利權(quán)）人: 四川長(zhǎng)虹電器股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04
• 代理公司: 四川省成都市天策商標(biāo)專利事務(wù)所 51213
• 代理人: 郭會(huì)

1.一種基于圖像識(shí)別的視頻分類截取系統(tǒng)，其特征在于，包括：

視頻圖像捕捉模塊，用于按照一定頻率截圖視頻圖像并放縮為預(yù)設(shè)圖片及檢測(cè)分辨率大小；

視頻圖像識(shí)別模塊，用于調(diào)用預(yù)先訓(xùn)練完畢的視頻圖像識(shí)別模型，通過(guò)視頻圖像捕捉模塊得到指定單幀視頻圖像內(nèi)容，并送入視頻圖像識(shí)別模型獲取該視頻圖像識(shí)別結(jié)果；

視頻圖像識(shí)別結(jié)果收集模塊，用于通過(guò)原視頻長(zhǎng)度和檢測(cè)頻率初始化序列器長(zhǎng)度，按照時(shí)間序列保存視頻圖像識(shí)別結(jié)果；

視頻圖像識(shí)別序列分析模塊，用于按照預(yù)設(shè)檢測(cè)頻率完成整個(gè)視頻的檢測(cè)識(shí)別，并得到根據(jù)時(shí)間序列對(duì)應(yīng)每一幀圖像的檢測(cè)結(jié)果，及遍歷序列器獲取連續(xù)類別對(duì)應(yīng)的時(shí)間節(jié)點(diǎn)以及對(duì)應(yīng)視頻的類別；

視頻分析截取模塊，用于根據(jù)識(shí)別類別序列對(duì)應(yīng)的時(shí)間戳截取視頻，獲取此視頻的視頻片段，最終獲取若干個(gè)對(duì)應(yīng)不同類別的視頻片段；

所述視頻圖像捕捉模塊、視頻圖像識(shí)別模塊、視頻圖像識(shí)別結(jié)果收集模塊、視頻圖像識(shí)別序列分析模塊及視頻分析截取模塊依次連接。

2.根據(jù)權(quán)利要求1所述的一種基于圖像識(shí)別的視頻分類截取系統(tǒng)，其特征在于，所述視頻圖像識(shí)別模型為卷積神經(jīng)網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求2所述的一種基于圖像識(shí)別的視頻分類截取系統(tǒng)，其特征在于，所述視頻圖像識(shí)別模型為進(jìn)行特征提取時(shí)特征提取網(wǎng)絡(luò)采取google的MobileNet系列網(wǎng)絡(luò)結(jié)構(gòu)。

4.根據(jù)權(quán)利要求2所述的一種基于圖像識(shí)別的視頻分類截取系統(tǒng)，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練流程如下：

A.收集多個(gè)類別的指定分辨率的圖像樣本，設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)輸入；

B.針對(duì)圖片樣本信息和圖片樣本，生成tensorflow支持的tfrecord數(shù)據(jù)格式，并按照一定比例分成訓(xùn)練文件和驗(yàn)證文件，其中，訓(xùn)練文件和驗(yàn)證文件的圖像不同，存儲(chǔ)圖像格式和標(biāo)簽信息相同；

C.利用訓(xùn)練文件對(duì)模型進(jìn)行訓(xùn)練，生成指定N個(gè)分類內(nèi)容的圖片內(nèi)容分類模型，并利用驗(yàn)證文件對(duì)圖片內(nèi)容分類模型進(jìn)行驗(yàn)證；

D.判定模型loss是否下降到預(yù)設(shè)閾值或訓(xùn)練步數(shù)達(dá)到預(yù)設(shè)步數(shù)，若模型loss下降到預(yù)設(shè)閾值，或者訓(xùn)練步數(shù)達(dá)到預(yù)設(shè)步數(shù)，則訓(xùn)練完成，若模型loss未下降到預(yù)設(shè)閾值且訓(xùn)練步數(shù)未達(dá)到預(yù)設(shè)步數(shù)，則增加視頻內(nèi)容圖片樣本，或者調(diào)整模型參數(shù)并返回步驟A，直至訓(xùn)練完成。

5.根據(jù)權(quán)利要求4所述的一種基于圖像識(shí)別的視頻分類截取系統(tǒng)，其特征在于，所述步驟A中還包括對(duì)收集到的每一張圖像樣本進(jìn)行歸一化處理。

6.一種基于圖像識(shí)別的視頻分類截取方法，由權(quán)利要求1-5中任一所述的基于圖像識(shí)別的視頻分類截取系統(tǒng)實(shí)現(xiàn)，其特征在于，包括以下步驟：

S1.視頻圖像捕捉模塊按照一定頻率截圖視頻圖像，放縮為預(yù)設(shè)圖片并檢測(cè)分辨率大小；

S2.視頻圖像識(shí)別模塊調(diào)用預(yù)先訓(xùn)練完畢的視頻圖像識(shí)別模型，通過(guò)視頻圖像捕捉模塊得到指定單幀視頻圖像內(nèi)容，并送入視頻圖像識(shí)別模型獲取該視頻圖像識(shí)別結(jié)果；

S3.視頻圖像識(shí)別結(jié)果收集模塊通過(guò)原視頻長(zhǎng)度和檢測(cè)頻率初始化序列器長(zhǎng)度，按照時(shí)間序列保存視頻圖像識(shí)別結(jié)果；

S4.視頻圖像識(shí)別序列分析模塊按照預(yù)設(shè)檢測(cè)頻率完成整個(gè)視頻的檢測(cè)識(shí)別，并得到根據(jù)時(shí)間序列對(duì)應(yīng)每一幀圖像的檢測(cè)結(jié)果，及遍歷序列器獲取連續(xù)類別對(duì)應(yīng)的時(shí)間節(jié)點(diǎn)以及對(duì)應(yīng)視頻的類別；

S5.視頻分析截取模塊根據(jù)識(shí)別類別序列對(duì)應(yīng)的時(shí)間戳截取視頻，獲取此視頻的視頻片段，最終獲取若干個(gè)對(duì)應(yīng)不同類別的視頻片段。

7.根據(jù)權(quán)利要求6所述的一種基于圖像識(shí)別的視頻分類截取方法，其特征在于，所述步驟S3具體為：

視頻圖像識(shí)別結(jié)果收集模塊通過(guò)視頻時(shí)長(zhǎng)和檢測(cè)頻率計(jì)算序列器長(zhǎng)度，通過(guò)計(jì)算指定頻率下視頻圖像結(jié)果，獲取并將結(jié)果按照時(shí)間有序性存入圖像識(shí)別序列器中，直到視頻檢測(cè)完畢或序列器填滿。