[發(fā)明專利]一種基于Spark的海量視頻語(yǔ)義標(biāo)注方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410459787.8
• 申請(qǐng)日: 2014-09-10
• 公開（公告）號(hào): CN104239501B
• 公開（公告）日: 2017-04-12
• 發(fā)明（設(shè)計(jì)）人: 崔銅;葛軍
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電子科技集團(tuán)公司第二十八研究所
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06T7/90;G06K9/62
• 代理公司: 江蘇圣典律師事務(wù)所32237
• 代理人: 胡建華

1.一種基于Spark的海量視頻語(yǔ)義標(biāo)注方法，其特征在于，包括以下步驟：

步驟1：將海量視頻部署到一組計(jì)算節(jié)點(diǎn)上，通過Spark集群計(jì)算視頻幀時(shí)間序列的分形維度差值，實(shí)現(xiàn)鏡頭分割，獲取關(guān)鍵幀；

步驟2：在Spark集群上提取對(duì)象的檢測(cè)樣本的顏色矩、邊緣以及紋理特征向量，進(jìn)行元學(xué)習(xí)策略訓(xùn)練，形成視覺詞典；并依據(jù)視覺詞典對(duì)關(guān)鍵視頻幀進(jìn)行預(yù)測(cè)，產(chǎn)生能表征該關(guān)鍵視頻幀的視覺單詞；

步驟3：通過Tf方法對(duì)待測(cè)視頻的視覺單詞進(jìn)行優(yōu)先排序，將篩選結(jié)果作為該視頻的標(biāo)注。

2.根據(jù)權(quán)利要求1所述的基于Spark的海量視頻數(shù)據(jù)分布式語(yǔ)義標(biāo)注方法，其特征在于，步驟1在Spark集群上實(shí)現(xiàn)視頻分割，劃分海量視頻分布至一組計(jì)算節(jié)點(diǎn)，利用分形方法將視頻按時(shí)間序列分割為若干鏡頭，并提取關(guān)鍵幀，具體包括如下步驟：

步驟1-1：轉(zhuǎn)換視頻數(shù)據(jù)格式，將視頻二進(jìn)制數(shù)據(jù)通過Hadoop自定義輸出流轉(zhuǎn)換為Spark集群可讀取的byte型數(shù)據(jù)，并保存到Hadoop分布式系統(tǒng)HDFS上；根據(jù)視頻總幀數(shù)，利用并行分塊函數(shù)把視頻切分為塊，一個(gè)塊代表一個(gè)視頻幀彈性分布式數(shù)據(jù)集RDD的數(shù)據(jù)對(duì)象parVideoRDD；調(diào)用幀處理程序，將數(shù)據(jù)對(duì)象parVideoRDD中的每一數(shù)據(jù)塊都并行的分配到P個(gè)計(jì)算節(jié)點(diǎn)，從而實(shí)現(xiàn)對(duì)整個(gè)視頻的幀數(shù)據(jù)并行處理；

步驟1-2：采用差分盒法，計(jì)算每一視頻幀分形維度，通過時(shí)間序列的分形維度差值，求出切變鏡頭和漸變鏡頭的邊界，從而將視頻分割為一組鏡頭；在此計(jì)算過程中，通過Spark在各計(jì)算節(jié)點(diǎn)間的聯(lián)系SparkContext實(shí)現(xiàn)各個(gè)計(jì)算節(jié)點(diǎn)間數(shù)據(jù)共享，使用映射函數(shù)map()完成分配步驟，再使用歸一函數(shù)reduce()完成更新步驟；

步驟1-3：按時(shí)間序列，取每一鏡頭臨界幀作為該鏡頭的關(guān)鍵視頻幀，返回Spark主節(jié)點(diǎn)的結(jié)果是關(guān)鍵幀號(hào)和其場(chǎng)景描述的視頻幀的RDD數(shù)據(jù)，將該視頻幀的RDD數(shù)據(jù)存儲(chǔ)為KeyFrameSce.txt文本文件，用于后續(xù)步驟調(diào)用。

3.根據(jù)權(quán)利要求2所述的基于Spark的海量視頻語(yǔ)義標(biāo)注方法，其特征在于，步驟2包括如下步驟：

步驟2-1：截取一組包括待測(cè)對(duì)象的各類圖片，作為該對(duì)象的檢測(cè)樣本；將圖片通過通道管理函數(shù)pipe()分配到一組計(jì)算節(jié)點(diǎn)，根據(jù)關(guān)鍵幀顏色矩、邊緣直方圖以及分形維度特征提取18維特征向量，用于表征該對(duì)象的圖像語(yǔ)義內(nèi)容；返回Spark主節(jié)點(diǎn)的結(jié)果是特征向量RDD數(shù)據(jù)，將其輸出到文本文件SampleVec.txt中，此時(shí)SampleVec.txt文本文件包含該對(duì)象的特征信息；

步驟2-2：將分布式文件系統(tǒng)HDFS上的文本文件SampleVec.txt通過分析類SparkContext的文本讀取函數(shù)TextFile讀取字符串String類型的RDD數(shù)據(jù)SampleVecRDD，并將該數(shù)據(jù)分配到P個(gè)計(jì)算節(jié)點(diǎn)，P為大于1的自然數(shù)；采用基于元學(xué)習(xí)策略的4種分類算法，包括Generalized?Winnow算法、支持向量機(jī)算法、條件隨機(jī)域算法和最大熵算法，對(duì)代表該類對(duì)象的語(yǔ)義內(nèi)容進(jìn)行特征訓(xùn)練，形成代表該類對(duì)象的視覺單詞，并與文字語(yǔ)義內(nèi)容相關(guān)聯(lián)；視覺單詞是一個(gè)由元分類器表征且與文字語(yǔ)義內(nèi)容存在相應(yīng)映射關(guān)系的XML文件，每一個(gè)XML文件代表一類視覺單詞；

步驟2-3：重復(fù)步驟2-1和步驟2-2，訓(xùn)練得到一組能夠代表一類對(duì)象的特征的視覺單詞，與相對(duì)應(yīng)的文字語(yǔ)義內(nèi)容建立映射關(guān)系后，匯聚成視覺詞典；

步驟2-4：根據(jù)步驟2-1的，將步驟1-3得到的關(guān)鍵視頻幀數(shù)據(jù)通過通道管理函數(shù)pipe()分配到一組計(jì)算節(jié)點(diǎn)，并提取18維特征向量，用于表征該關(guān)鍵視頻幀的語(yǔ)義內(nèi)容；返回Spark主節(jié)點(diǎn)的結(jié)果是關(guān)鍵視頻幀的幀序號(hào)和特征向量RDD數(shù)據(jù)，將返回的[幀序號(hào)，特征向量RDD數(shù)據(jù)]輸出到文本文件KeyFrameVec.txt中，此時(shí)KeyFrameVec.txt文本文件包含整個(gè)視頻文件關(guān)鍵幀信息；

步驟2-5：根據(jù)步驟2-2，將分布式文件系統(tǒng)HDFS上的文本文件KeyFrameVec.txt通過SparkContext的文本讀取函數(shù)TextFile函數(shù)讀取字符串String類型RDD數(shù)據(jù)FrameVecRDD，數(shù)據(jù)FrameVecRDD每一行包含一幀號(hào)及語(yǔ)義特征向量，并將數(shù)據(jù)FrameVecRDD分配到P個(gè)計(jì)算節(jié)點(diǎn)；對(duì)照視覺詞典，采用元學(xué)習(xí)策略對(duì)代表視頻幀語(yǔ)義內(nèi)容的特征向量進(jìn)行預(yù)測(cè)，得出該視頻幀所表述的一個(gè)以上的視覺單詞；返回的結(jié)果是幀序號(hào)、視覺單詞、對(duì)應(yīng)文字組合的RDD數(shù)據(jù)，將該RDD數(shù)據(jù)存儲(chǔ)為Word.txt文本文件，用于后續(xù)步驟調(diào)用。