[發(fā)明專利]一種基于AI內(nèi)容分析和OCR識別的智能新聞編目方法

有效

• 申請?zhí)枺?/td>: 202110133211.2
• 申請日: 2021-02-01
• 公開（公告）號: CN112468877B
• 公開（公告）日: 2021-05-04
• 發(fā)明（設(shè)計(jì)）人: 李永葆;陳美玲;嚴(yán)佳;王彥斌
• 申請（專利權(quán)）人: 北京中科大洋科技發(fā)展股份有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/4402;H04N21/4415;H04N21/84;H04N21/8549;G06F16/78;G06F16/783;G06K9/34
• 代理公司: 北京國林貿(mào)知識產(chǎn)權(quán)代理有限公司 11001
• 代理人: 袁建水

本發(fā)明涉及一種基于AI內(nèi)容分析和OCR識別的智能新聞編目方法，包括：解碼處理；提取視頻關(guān)鍵幀；提取鏡頭；提取高價(jià)值關(guān)鍵幀；分區(qū)處理；提煉節(jié)目內(nèi)容摘要；提煉片段標(biāo)題；自然語言分析；輸出完整的片段信息。本發(fā)明基于內(nèi)容分析、OCR文字識別結(jié)果分區(qū)處理、匹配正則表達(dá)式等多種方式，可以對新聞片段的標(biāo)題、摘要以及精彩鏡頭進(jìn)行提取，并達(dá)到符合業(yè)務(wù)上編目的要求。本發(fā)明在基于常規(guī)的內(nèi)容分析的基礎(chǔ)上，增加了邏輯上的處理方法，處理速度快，不影響整體處理耗時(shí)。但卻極大地滿足了用戶的業(yè)務(wù)要求，使用戶的工作效率得到了提升，真正的使智能的數(shù)據(jù)處理應(yīng)用到實(shí)際應(yīng)用中，最終提升了編目人員的工作效率。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于AI內(nèi)容分析和OCR識別的智能新聞編目方法，是一種計(jì)算機(jī)處理方法，是一種對數(shù)字視頻信號進(jìn)行加工處理的方法。

背景技術(shù)

對于新聞?lì)惞?jié)目，傳統(tǒng)的人工編目方法需要編目人員對整個(gè)新聞節(jié)目進(jìn)行瀏覽查看，逐一找到每個(gè)新聞片段的入出點(diǎn)，由人工切分出多個(gè)片段。并需要編目人員對視頻內(nèi)容進(jìn)行仔細(xì)的查看，才能結(jié)合實(shí)際的畫面內(nèi)容定義切分出片段的標(biāo)題，同時(shí)才能對片段內(nèi)的內(nèi)容進(jìn)行關(guān)鍵詞的描述著錄等操作。整個(gè)過程完全依賴編目人員的人工行為，耗時(shí)長，編目著錄工作效率低。現(xiàn)有的一些方案包括基于音視頻分離的智能拆條方法等。其基本原理為：先對視音頻文件拆分為視頻流和音頻流，根據(jù)音頻流信息進(jìn)行片段拆分，再結(jié)合視頻流的視頻畫面內(nèi)容，進(jìn)行視頻理解得到描述內(nèi)容的標(biāo)簽數(shù)據(jù)；這種方式主要是基于音頻語義的拆分出片段，對新聞片段的準(zhǔn)確性較低，除此之外，對于編目業(yè)務(wù)關(guān)注的片段名稱、摘要等有效信息沒有進(jìn)行提煉。在實(shí)際使用中，通過視頻的內(nèi)容分析的方法，得到的片段內(nèi)容，可能存在以下的問題：受語音分析模塊的影響，拆分的片段和實(shí)際的有差別，有漏掉或者拆分過細(xì)的情況存在；拆分出來的片段，沒有有效的標(biāo)題，可讀性差；拆分出來的片段，提取的摘要內(nèi)容和實(shí)際差別較大，不能準(zhǔn)確的對新聞片段進(jìn)行概述。最終使得智能拆分出來的新聞片段，不能對編目人員形成有效的工作效率的提升，要么需要編目人員重新輸入片段名稱，要么需要編目人員瀏覽每個(gè)片段后自己提煉片段摘要并記錄。因此，如何提取更多有用的信息并高效的進(jìn)行編目仍是一個(gè)需要解決的問題。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的問題，本發(fā)明提出了一種基于AI內(nèi)容分析和OCR識別的智能新聞編目方法。所述的方法通過的視頻關(guān)鍵幀的提取和分析結(jié)合OCR識別十分有效的提高編目的準(zhǔn)確性和效率。

本發(fā)明的目的是這樣實(shí)現(xiàn)的：一種基于AI內(nèi)容分析和OCR識別的智能新聞編目方法，所述的方法包括如下步驟：

步驟1，解碼處理：對獲得的視音頻文件進(jìn)行解碼處理，獲得視頻流和音頻流；

以下步驟按視頻流和音頻流分別平行處理：

視頻流處理：

步驟2，提取視頻關(guān)鍵幀：對從步驟1獲得視頻流進(jìn)行關(guān)鍵幀提取，并對關(guān)鍵幀進(jìn)行畫面內(nèi)容信息提取，得到標(biāo)簽數(shù)據(jù)；

步驟3，提取鏡頭：通過內(nèi)容分析，并結(jié)合基于topic的數(shù)據(jù)分析模型，提取鏡頭；

步驟4，提取高價(jià)值關(guān)鍵幀：對保留的關(guān)鍵幀進(jìn)行OCR文字識別處理以及整個(gè)視頻的人臉識別處理，反向查找鏡頭內(nèi)精彩幀，即含有內(nèi)容信息最全面的畫面，作為鏡頭內(nèi)的最優(yōu)畫面，并增補(bǔ)關(guān)鍵幀；

步驟5，分區(qū)處理：對OCR文字識別數(shù)據(jù)進(jìn)行分區(qū)計(jì)算和處理，結(jié)合新聞業(yè)務(wù)特點(diǎn)，分區(qū)提煉標(biāo)題、臺標(biāo)、頻道信息；

步驟6，提煉節(jié)目內(nèi)容摘要：結(jié)合新聞特點(diǎn)，在指定OCR區(qū)域，篩選標(biāo)題信息，提煉節(jié)目內(nèi)容摘要；

音頻流處理：

步驟7，提煉片段標(biāo)題：使用片段的入出點(diǎn)，反向查找這個(gè)時(shí)間段內(nèi)OCR的標(biāo)題內(nèi)容，提煉片段標(biāo)題；

步驟8，自然語言分析：對視頻文件的音頻流進(jìn)行分析，通過語音分析，提取標(biāo)簽；