[發(fā)明專利]通過使用自動(dòng)變體檢測來防止禁止網(wǎng)絡(luò)內(nèi)容的分發(fā)

在審

• 申請?zhí)枺?/td>: 201680003648.1
• 申請日: 2016-12-09
• 公開（公告）號: CN108463816A
• 公開（公告）日: 2018-08-28
• 發(fā)明（設(shè)計(jì)）人: 劉銀濤;瓦伊巴夫·瓦伊什;徐瑞秋;陳兆夫
• 申請（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;安翔

本說明書的主題大體上涉及防止禁止網(wǎng)絡(luò)內(nèi)容的分發(fā)。在一個(gè)方面中，系統(tǒng)包括前端服務(wù)器，該前端服務(wù)器接收要在數(shù)據(jù)通信網(wǎng)絡(luò)上分發(fā)的內(nèi)容。所述后端服務(wù)器在所述查詢?nèi)罩局凶R(shí)別已接收查詢的集合，對于已接收查詢的所述集合，即使給定禁止詞項(xiàng)未包括在已接收查詢的所述集合中所包括的查詢中，所述給定禁止詞項(xiàng)也被用于響應(yīng)于已接收查詢來識(shí)別搜索結(jié)果。所述后端服務(wù)器將在已接收查詢的所述集合中的一個(gè)或者多個(gè)查詢中的詞項(xiàng)歸類為所述給定禁止詞項(xiàng)的變體，所述詞項(xiàng)使搜索引擎響應(yīng)于所述一個(gè)或者多個(gè)查詢而使用所述給定禁止詞項(xiàng)來識(shí)別一個(gè)或者多個(gè)搜索結(jié)果并且防止包括所述變體的內(nèi)容的分發(fā)。

背景技術(shù)

互聯(lián)網(wǎng)促進(jìn)了全球用戶之間的信息交換和交易。這種信息交換使數(shù)據(jù)提供者能夠向各種用戶提供數(shù)據(jù)。可以按照各種方式來提供數(shù)據(jù)，包括：將信息發(fā)布在電子文檔(例如，網(wǎng)頁)上和應(yīng)用(例如，移動(dòng)應(yīng)用)內(nèi)。一些互聯(lián)網(wǎng)內(nèi)容提供者和政府實(shí)體禁止發(fā)布某一內(nèi)容和/或某些類型的內(nèi)容。例如，一些政府實(shí)體可能禁止在互聯(lián)網(wǎng)網(wǎng)站上發(fā)布與非法藥物分發(fā)有關(guān)的內(nèi)容。

發(fā)明內(nèi)容

本說明書描述了用于識(shí)別禁止詞項(xiàng)(forbidden term)的變體并且防止包括該變體的內(nèi)容的分發(fā)的系統(tǒng)、方法、裝置、和其它技術(shù)。

一般而言，在本說明書中描述的主題的一個(gè)創(chuàng)新方面可以在包括一個(gè)或者多個(gè)數(shù)據(jù)存儲(chǔ)裝置的系統(tǒng)中實(shí)施，該一個(gè)或者多個(gè)數(shù)據(jù)存儲(chǔ)裝置存儲(chǔ)(i)識(shí)別禁止詞項(xiàng)的集合的數(shù)據(jù)和(ii)包括已接收查詢的查詢?nèi)罩?。該系統(tǒng)可以包括：一個(gè)或者多個(gè)前端服務(wù)器，該一個(gè)或者多個(gè)前端服務(wù)器接收要在數(shù)據(jù)通信網(wǎng)絡(luò)上分發(fā)的內(nèi)容；以及一個(gè)或者多個(gè)后端服務(wù)器，該一個(gè)或者多個(gè)后端服務(wù)器與該數(shù)據(jù)存儲(chǔ)裝置和該一個(gè)或者多個(gè)前端服務(wù)器進(jìn)行通信。該一個(gè)或者多個(gè)后端服務(wù)器可以在該查詢?nèi)罩局凶R(shí)別已接收查詢的集合，對于已接收查詢的所述集合，即使給定禁止詞項(xiàng)未包括在已接收查詢的所述集合所包括的查詢中，所述給定禁止詞項(xiàng)也被用于響應(yīng)于已接收查詢來識(shí)別搜索結(jié)果。該一個(gè)或者多個(gè)后端服務(wù)器可以對在已接收查詢的所述集合中的一個(gè)或者多個(gè)查詢中的詞項(xiàng)歸類為所述給定禁止詞項(xiàng)的變體，該詞項(xiàng)使搜索引擎使用給定禁止詞項(xiàng)來響應(yīng)于一個(gè)或者多個(gè)查詢識(shí)別一個(gè)或者多個(gè)搜索結(jié)果。該一個(gè)或者多個(gè)后端服務(wù)器可以防止由該一個(gè)或者多個(gè)前端服務(wù)器分發(fā)包括給定禁止詞項(xiàng)的變體的內(nèi)容。該方面的其它實(shí)施方式包括對應(yīng)的設(shè)備、方法、和編碼在計(jì)算機(jī)存儲(chǔ)裝置上、配置為執(zhí)行方法的動(dòng)作的計(jì)算機(jī)程序。

可選地，這些和其它實(shí)施方式可以包括以下特征中的一個(gè)或者多個(gè)。在一些方面中，識(shí)別已接收查詢的集合，對于已接收查詢的所述集合，即使給定禁止詞項(xiàng)未包括在已接收查詢的所述集合所包括的查詢中，所述給定禁止詞項(xiàng)也被用于響應(yīng)于已接收查詢來識(shí)別搜索結(jié)果，包括：識(shí)別由搜索引擎擴(kuò)展為包括禁止詞項(xiàng)的給定已接收查詢。在一些方面中，該一個(gè)或者多個(gè)后端服務(wù)器使用詞項(xiàng)的語義網(wǎng)絡(luò)來識(shí)別語義地鏈接至禁止詞項(xiàng)的詞項(xiàng)，作為禁止詞項(xiàng)的變體。

在一些方面中，將來自已接收查詢的所述集合中的一個(gè)或者多個(gè)查詢中的詞項(xiàng)歸類為禁止詞項(xiàng)的變體包括：識(shí)別該禁止詞項(xiàng)的候選變體的集合；確定每個(gè)候選變體的分?jǐn)?shù)；以及基于每個(gè)候選變體的分?jǐn)?shù)來選擇一個(gè)或者多個(gè)候選變體作為該禁止詞項(xiàng)的變體。候選變體的所述集合可以包括第一候選變體和第二候選變體，該第一候選變體的拼寫被校正為該禁止詞項(xiàng)，該第二候選變體被添加至包括該禁止詞項(xiàng)的已接收查詢中。第一候選變體的分?jǐn)?shù)可以基于在第一候選變體與該禁止詞項(xiàng)之間的編輯距離。第二候選變體的分?jǐn)?shù)可以基于第二候選變體的逆向文檔頻率分?jǐn)?shù)。

在一些方面中，在該查詢?nèi)罩局凶R(shí)別已接收查詢的集合，對于已接收查詢的所述集合，即使給定禁止詞項(xiàng)未包括在已接收查詢的所述集合所包括的查詢中，所述給定禁止詞項(xiàng)也被用于響應(yīng)于已接收查詢來識(shí)別搜索結(jié)果，包括：使用映射過程來從該查詢?nèi)罩局凶R(shí)別每個(gè)禁止詞項(xiàng)的候選變體。在一些方面中，將來自已接收查詢的所述集合中的一個(gè)或者多個(gè)查詢中的詞項(xiàng)歸類為該禁止詞項(xiàng)的變體，該詞項(xiàng)使搜索引擎響應(yīng)于一個(gè)或者多個(gè)查詢使用該禁止詞項(xiàng)來識(shí)別一個(gè)或多個(gè)搜索結(jié)果，包括：針對每個(gè)禁止詞項(xiàng)使用縮減過程以從該禁止詞項(xiàng)的候選變體中選擇該禁止詞項(xiàng)的一個(gè)或者多個(gè)變體。每個(gè)縮減過程可以在分立的后端服務(wù)器上執(zhí)行。