[發(fā)明專利]結(jié)合文字視覺特征和文字內(nèi)容特征的違規(guī)廣告識別方法

在審

• 申請?zhí)枺?/td>: 202111303591.6
• 申請日: 2021-11-05
• 公開（公告）號: CN114155529A
• 公開（公告）日: 2022-03-08
• 發(fā)明（設(shè)計(jì)）人: 劉楊;路宏峰;張浩;曾振威;雷道宇
• 申請（專利權(quán)）人: 深圳市標(biāo)準(zhǔn)技術(shù)研究院
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V30/19;G06V30/30;G06V10/82;G06V10/764;G06K9/62;G06N3/08
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 彭艷君

1.結(jié)合文字視覺特征和文字內(nèi)容特征的違規(guī)廣告識別方法，其特征在于：包括以下步驟：

步驟1、輸入格式多樣含有視覺化文字的待檢測廣告圖片，并進(jìn)行降噪、圖像裁剪等圖像預(yù)處理步驟；

步驟2、將圖片中視覺化的文字轉(zhuǎn)化為三種不同特征的向量輸入，分別是文字視覺圖像本身特征、文字視覺圖像的筆畫信息特征和圖片文字識別轉(zhuǎn)換為文本特征；

步驟3、構(gòu)建基于神經(jīng)網(wǎng)絡(luò)的特征分類器，將圖像本身特征和筆畫信息特征進(jìn)行嵌入融合后進(jìn)行特征分類；

步驟4、構(gòu)建基于規(guī)則匹配和神經(jīng)網(wǎng)絡(luò)的文本審核系統(tǒng)對文字識別轉(zhuǎn)換后的文本特征進(jìn)行審核，判斷是否含有惡意推廣的違規(guī)廣告內(nèi)容；

步驟5、結(jié)合分類器和審核結(jié)果，判斷待測廣告圖片是否含有違規(guī)廣告信息。

2.根據(jù)權(quán)利要求1所述結(jié)合文字視覺特征和文字內(nèi)容特征的違規(guī)廣告識別方法，其特征在于：步驟3的實(shí)現(xiàn)包括結(jié)合圖像本身的特征和視覺文字的筆順信息轉(zhuǎn)化為嵌入表示，通過DenseNet神經(jīng)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)分類，具體過程包括：

步驟3.1、輸入待識別圖片，利用vgg16神經(jīng)網(wǎng)絡(luò)抽取圖像本身特征；

步驟3.2、使用RAN部件分析網(wǎng)絡(luò)根據(jù)十大漢字常用空間結(jié)構(gòu)對具有視覺效果的文字的空間架構(gòu)和偏旁部件進(jìn)行分析，抽取漢字的筆順特征信息；

步驟3.3、將圖像本身特征和筆順特征轉(zhuǎn)化成嵌入表示后進(jìn)行concat向量拼接，通過DenseNet神經(jīng)網(wǎng)絡(luò)進(jìn)行特征分類學(xué)習(xí)，識別圖片中視覺化文字是否含有違規(guī)部分。

3.根據(jù)權(quán)利要求1所述結(jié)合文字視覺特征和文字內(nèi)容特征的違規(guī)廣告識別方法，其特征在于：步驟4的實(shí)現(xiàn)包括利用OCR技術(shù)提取圖像中的文本特征，然后利用規(guī)則匹配的方式審核文本是否含有電商平臺鏈接惡意推廣內(nèi)容，再利用基于深度學(xué)習(xí)網(wǎng)絡(luò)RoFormer的分類模型對文本特征進(jìn)行分類；具體過程包括：

步驟4.1、利用OCR技術(shù)提取待檢測圖片中文本內(nèi)容；

步驟4.2、采用正則表達(dá)式匹配的方式對文本內(nèi)容進(jìn)行惡意推廣的匹配審核，包括QQ號、微信號、手機(jī)號、平臺外鏈的惡意推廣內(nèi)容的審核；

步驟4.3構(gòu)建RoFormer深度學(xué)習(xí)模型，將文本內(nèi)容以句子或段落為粒度直接輸入模型進(jìn)行特征提取分類，識別出包含違規(guī)廣告的信息。

4.根據(jù)權(quán)利要求1所述結(jié)合文字視覺特征和文字內(nèi)容特征的違規(guī)廣告識別方法，其特征在于：步驟5的實(shí)現(xiàn)包括結(jié)合步驟3、步驟4的三種模態(tài)形成的兩種特征學(xué)習(xí)過程的分類結(jié)果，對待檢測圖片進(jìn)行違規(guī)廣告審核識別并得到識別結(jié)果。