[發(fā)明專利]視頻中品牌識(shí)別系統(tǒng)及其實(shí)現(xiàn)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710132941.4
• 申請(qǐng)日: 2017-03-08
• 公開（公告）號(hào): CN107016344A
• 公開（公告）日: 2017-08-04
• 發(fā)明（設(shè)計(jì)）人: 李少雄
• 申請(qǐng)（專利權(quán)）人: 上海極鏈網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/32
• 代理公司: 上海海貝律師事務(wù)所31301
• 代理人: 范海燕

1.一種視頻中品牌識(shí)別系統(tǒng)及其實(shí)現(xiàn)方法，其特征在于：

系統(tǒng)包含檢測(cè)識(shí)別模塊、實(shí)時(shí)跟蹤模塊、后處理模塊；

檢測(cè)識(shí)別模塊有2個(gè)核心模塊：RPN網(wǎng)絡(luò)、分類網(wǎng)絡(luò)，檢測(cè)識(shí)別模塊進(jìn)行兩個(gè)步驟，第一個(gè)步驟為離線的訓(xùn)練出模型，第二個(gè)步驟是根據(jù)訓(xùn)練得到的模型，進(jìn)行輸入圖片的inference，即檢測(cè)識(shí)別LOGO；

實(shí)時(shí)跟蹤模塊包含算法調(diào)度模塊、通用的高性能多線程調(diào)度模塊、基于簡(jiǎn)單工廠模式封裝的各種算法模塊、高性能鏡頭切換檢測(cè)模塊；通用的高性能多線程調(diào)度模塊、基于簡(jiǎn)單工廠模式封裝的各種算法模塊、高性能鏡頭切換檢測(cè)模塊默認(rèn)配置為使能的部分，當(dāng)算法調(diào)度模塊沒有被使能的時(shí)候，默認(rèn)是執(zhí)行的這個(gè)部分，即默認(rèn)的配置；

后處理模塊為了將檢測(cè)和跟蹤的結(jié)果進(jìn)行融合，并通過投票得到一個(gè)個(gè)含有統(tǒng)一識(shí)別信息的序列，得到這種結(jié)構(gòu)化信息后，存入JSON文件或者數(shù)據(jù)庫；

檢測(cè)、跟蹤結(jié)果融合：系統(tǒng)由于同時(shí)運(yùn)行了檢測(cè)識(shí)別模塊和實(shí)時(shí)跟蹤模塊，所以有可能既有檢測(cè)結(jié)果又有跟蹤結(jié)果，采取如下策略：

1)當(dāng)跟蹤框和檢測(cè)框的IOU大于設(shè)定值時(shí)，認(rèn)為這個(gè)時(shí)候該跟蹤框和該檢測(cè)框描述的是同一個(gè)LOGO，這個(gè)時(shí)候信任的是檢測(cè)結(jié)果，將跟蹤器進(jìn)行初始化，初始化的位置采用這個(gè)檢測(cè)的Bounding Box；

2)當(dāng)檢測(cè)到的某一個(gè)框與跟蹤到的任何一個(gè)Bounding Box均小于設(shè)定值時(shí)，這個(gè)時(shí)候認(rèn)為該跟蹤框和該檢測(cè)框描述的是不是同一個(gè)LOGO，那么該跟蹤器繼續(xù)跟蹤該目標(biāo)，同時(shí)由于檢測(cè)到了一個(gè)新的目標(biāo)，所以新初始化一個(gè)跟蹤器來跟蹤該目標(biāo)；

3)投票：最終生成一個(gè)個(gè)序列后，序列中的每一個(gè)目標(biāo)均來自跟蹤或者檢測(cè)結(jié)果，對(duì)于到底應(yīng)該給這個(gè)序列統(tǒng)一打個(gè)什么樣的Label采用加權(quán)平均的方式作出最終判斷該序列為哪種Label的序列；

4)將結(jié)構(gòu)化的識(shí)別數(shù)據(jù)輸出：根據(jù)我們的應(yīng)用的不同可以將其輸出到JSON文件中或者數(shù)據(jù)庫中。

2.如權(quán)利要求1所述的視頻中品牌識(shí)別系統(tǒng)及其實(shí)現(xiàn)方法，其特征在于：

系統(tǒng)還包含視頻前處理模塊，視頻前處理模塊將視頻解碼出來，處理成一種合乎格式的視頻幀后，送入檢測(cè)識(shí)別模塊和實(shí)時(shí)跟蹤模塊；視頻前處理模塊通過如下方式進(jìn)行質(zhì)量矯正；

1)視頻解碼：調(diào)用OpenCV3.1的解碼器直接進(jìn)行視頻解碼，提取出相應(yīng)的視頻幀；

2)Resize、灰度化：根據(jù)檢測(cè)識(shí)別模塊和實(shí)時(shí)跟蹤模塊的要求，對(duì)解碼后的視頻幀進(jìn)行Resize和灰度化的操作；

3)直方圖均衡化：如果檢測(cè)到輸入的圖像存在過曝或者弱曝的情況，這個(gè)時(shí)候就會(huì)進(jìn)行直方圖均衡化的操作，分布不均，這個(gè)時(shí)候進(jìn)行本操作來對(duì)圖片質(zhì)量或者說對(duì)比度進(jìn)行提升；

4)去噪：對(duì)于檢測(cè)到的輸入圖像的噪點(diǎn)，采用雙邊濾波器來降噪并保留原始視頻幀的細(xì)節(jié)信息，采取方法是求其圖像局部的方差以及圖像的局部的拉普拉斯高頻分量，如果大于一定閾值，說明噪聲過大，需要進(jìn)行去噪操作。

3.如權(quán)利要求1所述的視頻中品牌識(shí)別系統(tǒng)及其實(shí)現(xiàn)方法，其特征在于：

算法調(diào)度模塊：

1)根據(jù)XML進(jìn)行默認(rèn)值配置；

2)由于不同跟蹤算法的優(yōu)勢(shì)劣勢(shì)互不相同，根據(jù)場(chǎng)景識(shí)別或者提前XML配置，在程序中進(jìn)行動(dòng)態(tài)的跟蹤器選取。

4.如權(quán)利要求1所述的視頻中品牌識(shí)別系統(tǒng)及其實(shí)現(xiàn)方法，其特征在于：

通用的高效多線程調(diào)度模塊，支持多進(jìn)程，需要一個(gè)參數(shù)的配置，只需要根據(jù)XML配置文件進(jìn)行一個(gè)FLAG的配置，系統(tǒng)當(dāng)前默認(rèn)是設(shè)置成多線程的，根據(jù)實(shí)驗(yàn)數(shù)據(jù)，多線程調(diào)度比多進(jìn)程調(diào)度效率快3-4％。