[發(fā)明專利]一種標(biāo)簽識(shí)別方法及裝置、存儲(chǔ)介質(zhì)、終端

在審

• 申請(qǐng)?zhí)枺?/td>: 201710881496.1
• 申請(qǐng)日: 2017-09-26
• 公開（公告）號(hào): CN107832287A
• 公開（公告）日: 2018-03-23
• 發(fā)明（設(shè)計(jì)）人: 湯奇峰;顧春瑛
• 申請(qǐng)（專利權(quán)）人: 晶贊廣告（上海）有限公司
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27;G06F17/30
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司11227
• 代理人: 張振軍,吳敏

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)信息發(fā)布領(lǐng)域，具體地涉及一種標(biāo)簽識(shí)別方法及裝置、存儲(chǔ)介質(zhì)、終端。

背景技術(shù)

對(duì)于在互聯(lián)網(wǎng)上流通的數(shù)據(jù)，例如，日志、文章、用戶評(píng)論等，一般都會(huì)包含多種不同的屬性特征，該屬性特征可以用標(biāo)簽(tag，也可稱為數(shù)據(jù)標(biāo)簽、智能標(biāo)簽)描述。基于這樣的特性，數(shù)據(jù)管理平臺(tái)(Data-Management Platform，簡(jiǎn)稱DMP)需要能夠從不同來源、不同種類、不同形式的海量數(shù)據(jù)中高效、精準(zhǔn)的提取每一數(shù)據(jù)對(duì)應(yīng)的標(biāo)簽，以供后續(xù)使用。

在現(xiàn)階段，常用的標(biāo)簽識(shí)別方法主要有人工分類法、價(jià)值流程圖(Value Stream Mapping，簡(jiǎn)稱VSM)分類法和聚類法。

其中，人工分類法的優(yōu)點(diǎn)在于識(shí)別準(zhǔn)確度高，但缺點(diǎn)同樣顯著，即識(shí)別效率低下，尤其在大數(shù)據(jù)的情況下，人工分類法顯然無法應(yīng)對(duì)海量數(shù)據(jù)的處理量。

VSM分類法通過將所有文檔(即待篩數(shù)據(jù))向量化，進(jìn)而比較相似文檔的方式，推斷出該文檔可以對(duì)應(yīng)的標(biāo)簽(也可稱為話題，topic)。但是，這種方法計(jì)算復(fù)雜度高，在在實(shí)際應(yīng)用時(shí)無法實(shí)現(xiàn)標(biāo)簽的快速識(shí)別。

聚類方法同樣是將文檔轉(zhuǎn)化為向量，但主要通過聚類算法來進(jìn)行文檔分類。較之VSM分類法，采用聚類方法進(jìn)行標(biāo)簽識(shí)別的計(jì)算復(fù)雜度得到了降低，但生成結(jié)果的解釋性不高。在實(shí)際應(yīng)用中，需要對(duì)聚類結(jié)果采用統(tǒng)一的人工標(biāo)簽化，依然需要依靠人為介入，造成人力消耗。

綜上所述，在現(xiàn)階段，大多數(shù)情況下，無法提供一種計(jì)算復(fù)雜度低，但又能快速、精準(zhǔn)的從海量數(shù)據(jù)中識(shí)別標(biāo)簽的技術(shù)方案。

發(fā)明內(nèi)容

本發(fā)明解決的技術(shù)問題是如何以更低的計(jì)算復(fù)雜度在海量數(shù)據(jù)中實(shí)現(xiàn)標(biāo)簽的精準(zhǔn)識(shí)別。

為解決上述技術(shù)問題，本發(fā)明實(shí)施例提供一種標(biāo)簽識(shí)別方法，包括：基于預(yù)設(shè)語(yǔ)料庫(kù)分割待篩文本，以獲取至少一個(gè)關(guān)鍵詞；對(duì)于每一關(guān)鍵詞，查找預(yù)設(shè)對(duì)照表中與所述關(guān)鍵詞相對(duì)應(yīng)的標(biāo)簽，以及所述關(guān)鍵詞與所述標(biāo)簽的匹配概率，所述預(yù)設(shè)對(duì)照表至少用于記錄關(guān)鍵詞與標(biāo)簽的對(duì)應(yīng)關(guān)系及匹配概率；對(duì)所述至少一個(gè)關(guān)鍵詞的查找結(jié)果進(jìn)行匯總篩選，以確定所述待篩文本的標(biāo)簽。

可選的，在基于預(yù)設(shè)語(yǔ)料庫(kù)分割待篩文本之前，所述標(biāo)簽識(shí)別方法還包括：獲取待篩數(shù)據(jù)；對(duì)所述待篩數(shù)據(jù)進(jìn)行預(yù)處理，以獲取所述待篩文本。

可選的，所述獲取待篩數(shù)據(jù)包括：對(duì)于每一數(shù)據(jù)源，采用與所述數(shù)據(jù)源的數(shù)據(jù)傳輸協(xié)議相對(duì)應(yīng)的解析邏輯對(duì)來自所述數(shù)據(jù)源的數(shù)據(jù)進(jìn)行處理，以獲取所述待篩數(shù)據(jù)。

可選的，所述對(duì)所述待篩數(shù)據(jù)進(jìn)行預(yù)處理包括：對(duì)所述待篩數(shù)據(jù)包括的字符串進(jìn)行處理，以獲得符合預(yù)設(shè)規(guī)則的待篩文本。

可選的，所述基于預(yù)設(shè)語(yǔ)料庫(kù)分割待篩文本包括：對(duì)所述待篩文本進(jìn)行分詞處理，以得到至少一個(gè)分詞結(jié)果；對(duì)于每一個(gè)分詞結(jié)果，將所述分詞結(jié)果與所述預(yù)設(shè)語(yǔ)料庫(kù)相比較；當(dāng)比較結(jié)果表明所述分詞結(jié)果記錄于所述預(yù)設(shè)語(yǔ)料庫(kù)時(shí)，確定所述分詞結(jié)果為關(guān)鍵詞。

可選的，所述預(yù)設(shè)語(yǔ)料庫(kù)包括至少一個(gè)子語(yǔ)料庫(kù)，所述子語(yǔ)料庫(kù)與特征領(lǐng)域一一對(duì)應(yīng)。

可選的，所述基于預(yù)設(shè)語(yǔ)料庫(kù)分割待篩文本包括：對(duì)所述待篩文本進(jìn)行分詞處理，以得到至少一個(gè)分詞結(jié)果；基于所述待篩文本所屬的特征領(lǐng)域確定對(duì)應(yīng)的子語(yǔ)料庫(kù)；對(duì)于處理獲得的每一個(gè)分詞結(jié)果，將所述分詞結(jié)果與所述子語(yǔ)料庫(kù)相比較；當(dāng)比較結(jié)果表明所述分詞結(jié)果記錄于所述子語(yǔ)料庫(kù)時(shí)，確定所述分詞結(jié)果為關(guān)鍵詞。

可選的，所述預(yù)設(shè)對(duì)照表是基于預(yù)設(shè)模型訓(xùn)練獲得的，所述預(yù)設(shè)模型包括LDA模型。

可選的，所述對(duì)所述至少一個(gè)關(guān)鍵詞的查找結(jié)果進(jìn)行匯總篩選包括：將所述至少一個(gè)關(guān)鍵詞各自對(duì)應(yīng)的標(biāo)簽進(jìn)行同類項(xiàng)合并，以獲取所述待篩文本對(duì)應(yīng)的標(biāo)簽集合及所述標(biāo)簽集合中每一標(biāo)簽對(duì)應(yīng)的總匹配概率；根據(jù)所述總匹配概率篩選所述標(biāo)簽集合，以確定對(duì)應(yīng)于所述待篩文本的標(biāo)簽。

可選的，所述將所述至少一個(gè)關(guān)鍵詞各自對(duì)應(yīng)的標(biāo)簽進(jìn)行同類項(xiàng)合并包括：對(duì)于對(duì)應(yīng)于相同標(biāo)簽的不同關(guān)鍵詞，將所述不同關(guān)鍵詞各自對(duì)應(yīng)于所述標(biāo)簽的匹配概率進(jìn)行累和，以獲得對(duì)應(yīng)于所述標(biāo)簽的總匹配概率。

可選的，所述根據(jù)所述總匹配概率篩選所述標(biāo)簽集合，以確定對(duì)應(yīng)于所述待篩文本的標(biāo)簽包括：將所述標(biāo)簽集合中總匹配概率高于預(yù)設(shè)閾值的標(biāo)簽確定為所述待篩文本的標(biāo)簽。

可選的，所述根據(jù)所述總匹配概率篩選所述標(biāo)簽集合，以確定所述待篩文本的標(biāo)簽包括：將所述標(biāo)簽集合中總匹配概率最高的預(yù)設(shè)數(shù)量的標(biāo)簽確定為所述待篩文本的標(biāo)簽。