[發(fā)明專利]確定文檔相似度的方法、裝置、設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710547017.2
• 申請(qǐng)日: 2017-07-06
• 公開（公告）號(hào): CN109213972B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 楊旭;王少萌;姜曉燕
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F40/194
• 分類號(hào): G06F40/194;G06F40/284;G06F16/31;G06F16/33
• 代理公司: 廣州鑄智知識(shí)產(chǎn)權(quán)代理有限公司 44886
• 代理人: 徐瑞紅

本發(fā)明提供了一種確定文檔相似度的方法、裝置、設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)，其中方法包括：預(yù)先根據(jù)參考文檔集構(gòu)建有詞語對(duì)應(yīng)表；對(duì)至少兩個(gè)待比較文檔進(jìn)行分詞處理后，得到待比較文檔中的各詞語；將各待比較文檔中的詞語在所述詞語對(duì)應(yīng)表中查詢，以構(gòu)建待比較文檔的特征向量；通過計(jì)算待比較文檔的特征向量之間的相似度，確定待比較文檔之間的相似度。本發(fā)明能夠降低大規(guī)模文檔相似度的耗時(shí)。

【技術(shù)領(lǐng)域】

本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，特別涉及一種確定文檔相似度的方法、裝置、設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)。

【背景技術(shù)】

隨著信息爆炸時(shí)代的來臨，網(wǎng)絡(luò)上文檔數(shù)量急劇上升，呈海量趨勢(shì)。無論在文檔去重還是文檔推薦等場(chǎng)景中，都會(huì)涉及到文檔相似度的計(jì)算。現(xiàn)有文檔相似度計(jì)算方式通常是基于兩兩比較的文檔，構(gòu)建各文檔的特征向量，然后通過兩文檔的特征向量之間的相似度來計(jì)算兩文檔之間的相似度。由于其特征向量的構(gòu)建是基于兩個(gè)文檔的，因此，需要針對(duì)文檔兩兩構(gòu)建特征向量并進(jìn)行相似度計(jì)算，若存在數(shù)量巨大的文檔需要進(jìn)行比較，則耗時(shí)巨大。

例如，在搜索引擎中，需要針對(duì)新爬取的文檔判斷爬取的歷史文檔中是否已經(jīng)存在新爬取的文檔。若新爬取的文檔數(shù)量為m，爬取的歷史文檔數(shù)量為n，兩兩比較就需要執(zhí)行m×n次，即執(zhí)行m×n次文本特征向量構(gòu)建和相似度計(jì)算。若m為6萬，n為60萬，則需要計(jì)算約1萬小時(shí)，耗時(shí)巨大。

【發(fā)明內(nèi)容】

有鑒于此，本發(fā)明提供了一種確定文檔相似度的方法、裝置、設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)，以便于降低大規(guī)模文檔相似度的耗時(shí)。

具體技術(shù)方案如下：

本發(fā)明提供了一種確定文檔相似度的方法，預(yù)先根據(jù)參考文檔集構(gòu)建有詞語對(duì)應(yīng)表；該方法包括：

分別對(duì)至少兩個(gè)待比較文檔進(jìn)行分詞處理，得到各待比較文檔中的詞語；

將各待比較文檔中的詞語在所述詞語對(duì)應(yīng)表中查詢，以構(gòu)建待比較文檔的特征向量；

通過計(jì)算各待比較文檔的特征向量之間的相似度，確定待比較文檔之間的相似度。

根據(jù)本發(fā)明一具體實(shí)施方式，所述詞語對(duì)應(yīng)表的構(gòu)建包括：

將參考文檔集中各文檔進(jìn)行分詞處理；

將分詞處理后得到的詞語進(jìn)行匯總，得到詞語對(duì)應(yīng)表，記錄該詞語對(duì)應(yīng)表中各詞語的索引信息。

根據(jù)本發(fā)明一具體實(shí)施方式，所述將各待比較文檔中的詞語在所述詞語對(duì)應(yīng)表中查詢，以構(gòu)建待比較文檔的特征包括：

從所述詞語對(duì)應(yīng)表中查詢得到各待比較文檔中詞語對(duì)應(yīng)的索引信息；

利用得到的索引信息，構(gòu)建各待比較文檔的特征向量。

根據(jù)本發(fā)明一具體實(shí)施方式，所述將參考文檔集進(jìn)行分詞處理包括：

通過多個(gè)計(jì)算節(jié)點(diǎn)并行對(duì)所述參考文檔集中的各文檔進(jìn)行分詞處理。

根據(jù)本發(fā)明一具體實(shí)施方式，在從所述詞語對(duì)應(yīng)表中查詢得到各待比較文檔中詞語對(duì)應(yīng)的索引信息時(shí)，針對(duì)待比較文檔中的各詞語分別執(zhí)行：

判斷該詞語是否存在于所述詞語對(duì)應(yīng)表中，如果是，則獲取該詞語在所述詞語對(duì)應(yīng)表中的索引信息；

否則，判斷該詞語是否存在于臨時(shí)對(duì)應(yīng)表中，如果否，則將該詞語記錄于臨時(shí)對(duì)應(yīng)表中，記錄并獲取該詞語在臨時(shí)對(duì)應(yīng)表中的索引信息；如果是，則獲取該詞語在臨時(shí)對(duì)應(yīng)表中的索引信息；

其中臨時(shí)對(duì)應(yīng)表和詞語對(duì)應(yīng)表中的索引信息不重疊。

根據(jù)本發(fā)明一具體實(shí)施方式，在從所述詞語對(duì)應(yīng)表中查詢得到各待比較文檔中詞語對(duì)應(yīng)的索引信息時(shí)，針對(duì)待比較文檔中的各詞語分別執(zhí)行：