[發(fā)明專利]一種生成相關(guān)性映射字典及其驗(yàn)證相關(guān)性的方法和相關(guān)裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201711250962.2
• 申請(qǐng)日: 2017-12-01
• 公開(kāi)（公告）號(hào): CN110020078B
• 公開(kāi)（公告）日: 2021-08-20
• 發(fā)明（設(shè)計(jì)）人: 劉慧慧;周澤南;蘇雪峰;佟子健
• 申請(qǐng)（專利權(quán)）人: 北京搜狗科技發(fā)展有限公司
• 主分類號(hào): G06F16/953
• 分類號(hào): G06F16/953;G06F16/51;G06F16/35;G06F16/36
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 莎日娜

本發(fā)明實(shí)施例提供了一種生成相關(guān)性映射字典及其驗(yàn)證相關(guān)性的方法和相關(guān)裝置，生成相關(guān)性映射字典的方法，包括：采集訓(xùn)練樣本，所述訓(xùn)練樣本包括樣本圖像與樣本文本；對(duì)所述樣本圖像進(jìn)行分類，獲得圖像類別；依據(jù)所述圖像類別對(duì)所述樣本文本進(jìn)行分類，獲得文本類別；根據(jù)所述圖像類別與所述文本類別之間的映射關(guān)系生成相關(guān)性映射字典。相關(guān)性映射字典中明確了相關(guān)性，作為先驗(yàn)知識(shí)，使得后續(xù)驗(yàn)證時(shí)可以確定圖文之間是否具有相關(guān)性，而并非相關(guān)程度，從而提高了驗(yàn)證相關(guān)性的精確度，從而在搜索場(chǎng)景中可以提高網(wǎng)頁(yè)中圖像及其相關(guān)文本之間的相關(guān)性，從而保證搜索到與查詢?cè)~相關(guān)的圖像，提高搜索的質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)處理的技術(shù)領(lǐng)域，特別是涉及一種生成相關(guān)性映射字典的方法、一種基于相關(guān)性映射字典驗(yàn)證相關(guān)性的方法、一種生成相關(guān)性映射字典的裝置、一種基于相關(guān)性映射字典驗(yàn)證相關(guān)性的裝置、一種用于生成相關(guān)性映射字典的裝置和一種用于基于相關(guān)性映射字典驗(yàn)證相關(guān)性的裝置。

背景技術(shù)

隨著網(wǎng)絡(luò)的迅速發(fā)展，網(wǎng)絡(luò)信息急劇增加。用戶為了在海量的網(wǎng)絡(luò)信息中尋找所需的網(wǎng)絡(luò)信息，通常使用搜索引擎進(jìn)行搜索。

這些網(wǎng)絡(luò)信息中包含了大量的圖像，用戶在搜索引擎中輸入查詢?cè)~(即query)，意圖搜索相關(guān)的圖像，搜索引擎計(jì)算查詢?cè)~與圖像數(shù)據(jù)之間的相關(guān)性，返回搜索到的圖像給用戶。

為了計(jì)算查詢?cè)~與圖像之間的相關(guān)性，目前是搜索圖像的相關(guān)文本，將查詢?cè)~與該相關(guān)文本進(jìn)行匹配，以召回圖像，該相關(guān)文本包括圖像所在網(wǎng)頁(yè)的標(biāo)題、文章標(biāo)題、替換文本、描述文本和環(huán)繞文本等，通過(guò)索引和檢索圖像的相關(guān)文本，實(shí)現(xiàn)圖像搜索的功能。

但是，如果網(wǎng)頁(yè)中的圖像與相關(guān)文本不相關(guān)，那么，搜索到的圖像與查詢?cè)~不相關(guān)，導(dǎo)致搜索質(zhì)量下降。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，為了解決上述文本與圖片之間的相關(guān)程度精確度較低的問(wèn)題，本發(fā)明實(shí)施例提出了一種生成相關(guān)性映射字典的方法、一種基于相關(guān)性映射字典驗(yàn)證相關(guān)性的方法和相應(yīng)的一種生成相關(guān)性映射字典的裝置、一種基于相關(guān)性映射字典驗(yàn)證相關(guān)性的裝置、一種用于生成相關(guān)性映射字典的裝置、一種用于基于相關(guān)性映射字典驗(yàn)證相關(guān)性的裝置。

為了解決上述問(wèn)題，本發(fā)明實(shí)施例公開(kāi)了一種生成相關(guān)性映射字典的方法，包括：

采集訓(xùn)練樣本，所述訓(xùn)練樣本包括樣本圖像與樣本文本；

對(duì)所述樣本圖像進(jìn)行分類，獲得圖像類別；

依據(jù)所述圖像類別對(duì)所述樣本文本進(jìn)行分類，獲得文本類別；

根據(jù)所述圖像類別與所述文本類別之間的映射關(guān)系生成相關(guān)性映射字典。

可選地，所述訓(xùn)練樣本包括正訓(xùn)練樣本、負(fù)訓(xùn)練樣本；

所述正訓(xùn)練樣本中的樣本圖像與樣本文本具有相關(guān)性；

所述負(fù)訓(xùn)練樣本中的樣本圖像與樣本文本不具有相關(guān)性。

可選地，所述采集訓(xùn)練樣本，包括：

從指定的第一網(wǎng)站抓取第一網(wǎng)頁(yè)數(shù)據(jù)；

從所述第一網(wǎng)頁(yè)數(shù)據(jù)提取圖像數(shù)據(jù)與文本數(shù)據(jù)，作為正訓(xùn)練樣本的樣本圖像與樣本文本；

從指定的第二網(wǎng)站抓取第二網(wǎng)頁(yè)數(shù)據(jù)；

從所述第一網(wǎng)頁(yè)數(shù)據(jù)提取圖像數(shù)據(jù)與文本數(shù)據(jù)，作為負(fù)訓(xùn)練樣本的樣本圖像與樣本文本。

可選地，所述采集訓(xùn)練樣本，還包括：

從所述第一網(wǎng)頁(yè)數(shù)據(jù)、所述第二網(wǎng)頁(yè)數(shù)據(jù)中過(guò)濾指定的噪聲數(shù)據(jù)；

其中，所述噪聲數(shù)據(jù)包括廣告數(shù)據(jù)。

可選地，所述文本類別包括第一子文本類別；